沒有人在談論 @apple 對 128GB MacBook Pro 保持價格不變。面對飆升的記憶體價格，並沒有漲價。 每個人都在談論計算能力的提升，預填速度提高了 4 倍。這很酷，但實際上並沒有那麼重要。為什麼？因為在你自己的電腦上，大多數使用 LLM 的應用程式/工具將會獲得高的 kv 快取命中率——這意味著作為用戶，你只會經歷一次緩慢的預填。kv 快取可以持久化到磁碟並以 6GB/s 的速度加載。 在 LLM 推理中，大部分時間都花在解碼上，這是受記憶體帶寬限制的。 這對於圖像/視頻生成、高批次 LLM 推理和微調仍然很棒，這些都是受計算限制的。我們應該會看到那裡的巨大加速。 Apple 的 AI 策略是設備上的 LLM，而在這裡，記憶體才是關鍵，而不是 FLOPS。 對於 M5 Pro/Max Mac Mini 和 M5 Ultra Mac Studio 也應該期待同樣的情況。這意味著 512GB M5 Ultra 價格為 10k！ @tim_cook 是供應鏈天才。