La Chine est largement en avance en matière d'adoption de l'IA. Une école à Pékin a réutilisé de vieux Macs pour faire fonctionner des agents IA personnalisés à 100 % localement en utilisant @exolabs. Les Macs étaient auparavant utilisés dans leur laboratoire d'études cinématographiques, pour le montage vidéo. Ils ont ingéré l'ensemble de leur corpus de données scolaires : programmes, rapports, matériels pédagogiques et objectifs d'apprentissage - donc tout est ancré dans leurs données en temps réel. Pour obtenir des réponses précises, ils ont besoin de modèles de pointe, qui sont ENORMES - la mémoire est la contrainte (pas les FLOPS). Les appareils Apple avec mémoire unifiée disposent d'une grande quantité de mémoire à haute vitesse, donc empiler suffisamment d'entre eux rend possible l'exécution de modèles massifs. Une grande préoccupation des écoles et des parents est la confidentialité des données - lorsque les élèves ou les enseignants utilisent des modèles dans le cloud, ils envoient toutes leurs données en texte clair au fournisseur de modèles. Même si les écoles ont des politiques à ce sujet, il y a toujours le risque que quelqu'un copie-colle accidentellement des données sensibles dans le modèle - la fuite de données est inévitable.

Personne ne parle de @apple maintenant que les prix restent les mêmes pour le MacBook Pro 128 Go. Il n'y a eu aucune augmentation de prix en réponse à la flambée des prix de la mémoire. Tout le monde parle de l'augmentation de la puissance de calcul, accélérant le pré-remplissage par 4x. C'est cool mais pratiquement, ce n'est pas si important. Pourquoi ? Parce que sur votre propre ordinateur, la plupart des applications/outils utilisant des LLM vont obtenir des taux de réussite élevés en cache kv - cela signifie qu'en tant qu'utilisateur, vous ne subissez un pré-remplissage lent qu'une seule fois. Le cache kv peut être persistant sur disque et chargé à 6 Go/s. La plupart du temps dans l'inférence LLM est passé sur le décodage, qui est limité par la bande passante mémoire. C'est toujours génial pour la génération d'images/vidéos, l'inférence LLM en haute quantité et le fine-tuning, qui sont limités par le calcul. Nous devrions voir d'énormes gains de vitesse là-bas. La stratégie d'IA d'Apple repose sur des LLM sur appareil et ici, la mémoire est le nom du jeu, pas les FLOPS. Attendez-vous à la même chose pour le Mac Mini M5 Pro/Max et le Mac Studio M5 Ultra. Cela signifie 512 Go M5 Ultra à 10k ! @tim_cook est un génie de la chaîne d'approvisionnement.