Chiny są znacznie dalej w przyjmowaniu AI. Szkoła w Pekinie przekształciła stare komputery Mac, aby uruchomić spersonalizowane agenty AI w 100% lokalnie, korzystając z @exolabs. Komputery Mac były wcześniej używane w ich laboratorium filmowym do edycji wideo. Przetworzyły cały swój zbiór danych szkolnych: programy nauczania, raporty, materiały dydaktyczne i cele nauczania - więc są oparte na wszystkich ich danych w czasie rzeczywistym. Aby uzyskać dokładne odpowiedzi, potrzebują modeli na granicy technologii, które są DUŻE - ograniczeniem jest pamięć (nie FLOPS). Urządzenia Apple z jednolitą pamięcią mają dużo szybkiej pamięci, więc wystarczające ich połączenie umożliwia uruchomienie ogromnych modeli. Dużym zmartwieniem szkół i rodziców jest prywatność danych - gdy uczniowie lub nauczyciele korzystają z modeli w chmurze, wysyłają wszystkie swoje dane w formacie tekstowym do dostawcy modelu. Nawet jeśli szkoły mają polityki dotyczące tego, zawsze istnieje ryzyko, że ktoś przypadkowo skopiuje i wklei wrażliwe dane do modelu - wyciek danych jest nieunikniony.

Nikt nie mówi o tym, że @apple utrzymuje ceny na tym samym poziomie dla 128GB MacBooka Pro. Nie było podwyżki cen w odpowiedzi na rosnące ceny pamięci. Wszyscy mówią o wzroście mocy obliczeniowej, przyspieszając prefill czterokrotnie. To jest fajne, ale praktycznie nie jest to aż tak wielka sprawa. Dlaczego? Ponieważ na twoim własnym komputerze, większość aplikacji/narzędzi korzystających z LLM-ów osiągnie wysokie wskaźniki trafień w pamięci podręcznej kv - to oznacza, że jako użytkownik doświadczysz wolnego prefill tylko raz. Pamięć podręczna kv może być zapisywana na dysku i ładowana z prędkością 6GB/s. Większość czasu w inferencji LLM spędza się na dekodowaniu, co jest ograniczone przez przepustowość pamięci. To wciąż świetne dla generacji obrazów/wideo, wysokiej wydajności inferencji LLM i fine-tuningu, które są ograniczone przez moc obliczeniową. Powinniśmy zobaczyć ogromne przyspieszenia w tej dziedzinie. Strategia AI Apple opiera się na LLM-ach działających na urządzeniach, a tutaj pamięć jest kluczowym czynnikiem, a nie FLOPS. Oczekuj tego samego dla M5 Pro/Max Mac Mini i M5 Ultra Mac Studio. To oznacza 512GB M5 Ultra za 10k! @tim_cook to geniusz łańcucha dostaw.