中國在人工智慧採用方面遙遙領先。 北京的一所學校將舊的 Mac 電腦重新利用，運行 100% 本地的個性化 AI 代理，使用 @exolabs。 這些 Mac 之前用於他們的電影研究實驗室，進行視頻編輯。 他們已經吸收了整個學校數據庫：課程、報告、教學材料和學習目標——因此它與他們的所有數據實時相連。 為了獲得準確的答案，他們需要前沿模型，這些模型非常龐大——記憶體是限制因素（而不是 FLOPS）。擁有統一記憶體的 Apple 設備擁有大量高速記憶體，因此堆疊足夠的設備使得運行龐大的模型成為可能。 學校和家長的一個主要擔憂是數據隱私——當學生或教師在雲端使用模型時，他們將所有數據以明文形式發送給模型提供者。即使學校有相關政策，總是存在某人不小心將敏感數據複製粘貼到模型中的風險——數據洩漏是不可避免的。

沒有人在談論 @apple 對 128GB MacBook Pro 保持價格不變。面對飆升的記憶體價格，並沒有漲價。 每個人都在談論計算能力的提升，預填速度提高了 4 倍。這很酷，但實際上並沒有那麼重要。為什麼？因為在你自己的電腦上，大多數使用 LLM 的應用程式/工具將會獲得高的 kv 快取命中率——這意味著作為用戶，你只會經歷一次緩慢的預填。kv 快取可以持久化到磁碟並以 6GB/s 的速度加載。 在 LLM 推理中，大部分時間都花在解碼上，這是受記憶體帶寬限制的。 這對於圖像/視頻生成、高批次 LLM 推理和微調仍然很棒，這些都是受計算限制的。我們應該會看到那裡的巨大加速。 Apple 的 AI 策略是設備上的 LLM，而在這裡，記憶體才是關鍵，而不是 FLOPS。 對於 M5 Pro/Max Mac Mini 和 M5 Ultra Mac Studio 也應該期待同樣的情況。這意味著 512GB M5 Ultra 價格為 10k！ @tim_cook 是供應鏈天才。