AI 時代，NPU、GPU、頻寬誰最重要？

NPU 通常以特定資料型態和運算模式的峰值吞吐量描述能力，但模型是否真的使用它，仍取決於框架、支援的算子、精度與資料格式。GPU 的彈性和 CPU 的控制能力也仍有角色。M5 在 GPU 核心加入 Neural Accelerators，說明 AI 加速已不限於一塊單獨命名為 NPU 的區域。

對本機大型語言模型，先問權重、上下文快取與工作空間能否容納，再問輸入處理與逐字生成各受什麼限制。單一使用者的生成可能需要反覆讀取大量權重；批次工作則可能提高運算利用率。同一台設備因此可能在不同模型和批次大小下，呈現完全不同的瓶頸，不能用一個 TOPS 數字預測全部速度。

這台 16GB M5 可以作為探索本機模型的合理起點，但本館沒有保證特定模型的 tokens/s。應記錄模型版本、量化、上下文長度、框架、記憶體占用、首字延遲與生成速度，並把輸出品質一起檢查。MLX 的統一記憶體優勢能減少某些資料複製；容量上限與模型本身的需求依然存在。

延伸閱讀與資料來源

研究更新 2026-10-26。本文為來源支持的技術分析，不代表 Simon 已完成這些工作負載的實測。