China loopt ver voorop met de adoptie van AI. Een school in Beijing heeft oude Macs omgebouwd om gepersonaliseerde AI-agenten 100% lokaal te laten draaien met behulp van @exolabs. De Macs werden eerder gebruikt in hun filmstudielab, voor videobewerking. Ze hebben hun volledige corpus van schooldata geanalyseerd: curricula, rapporten, instructiematerialen en leerdoelen - zodat het is gebaseerd op al hun data in realtime. Om nauwkeurige antwoorden te krijgen, hebben ze geavanceerde modellen nodig, die GROOT zijn - geheugen is de beperkende factor (niet FLOPS). Apple-apparaten met unified memory hebben veel snel geheugen, dus door er genoeg van te stapelen, wordt het mogelijk om enorme modellen te draaien. Een grote zorg van scholen en ouders is dataprivacy - wanneer studenten of docenten modellen in de cloud gebruiken, sturen ze al hun data in platte tekst naar de modelprovider. Zelfs als scholen beleid hebben rondom dit onderwerp, is er altijd het risico dat iemand per ongeluk gevoelige data in het model kopieert en plakt - datalekken zijn onvermijdelijk.

Niemand praat over @apple die de prijzen gelijk houdt voor de 128GB MacBook Pro. Er is geen prijsverhoging geweest als reactie op de stijgende geheugenkosten. Iedereen praat over de boost in rekenkracht, die de prefill met 4x versnelt. Dit is cool, maar praktisch gezien is het niet zo'n big deal. Waarom? Omdat op je eigen computer de meeste apps/tools die LLM's gebruiken hoge kv cache hit rates zullen hebben - dat betekent dat je als gebruiker slechts één keer een trage prefill ervaart. kv cache kan op schijf worden opgeslagen en met 6GB/s worden geladen. De meeste tijd in LLM-inferentie wordt besteed aan decoderen, wat gebonden is aan geheugensnelheid. Het is nog steeds geweldig voor beeld/video generatie, hoge batch LLM-inferentie en fine-tuning, die gebonden zijn aan rekenkracht. We zouden daar enorme versnellingen moeten zien. Apple's AI-strategie is on-device LLM's en hier is geheugen de naam van het spel, niet FLOPS. Verwacht hetzelfde voor de M5 Pro/Max Mac Mini en M5 Ultra Mac Studio. Dat betekent 512GB M5 Ultra voor 10k! @tim_cook is een supply chain genie.