Sial, tim @sanchitmonga22 RunAnywhereAI hadir dengan MetalRT dalam 48 jam, langsung mengeringkan kecepatan decoding LLM di Apple Silicon ke tingkat yang baru, menggunakan model 4-bit yang sama pada M4 Max, Qwen3-0.6B berjalan ke 658 tok/s, LFM 2.5-1.2B 570 tok/s, dan token pertama hanya membutuhkan 6.6ms. Dibandingkan dengan dokumen yang sama, MLX milik Apple sendiri adalah 19%, rata-rata llama.cpp palu adalah 67%, belum lagi Uzu dan Ollama, yang tertinggal di seluruh papan. Apple Intelligence Apple selalu meneriakkan prioritas lokal, tetapi potensi perangkat keras sebenarnya terbuang sia-sia oleh berbagai batasan kerangka kerja, yang setara dengan disegel, MetalRT adalah untuk langsung menyerang API Metal, memotong overhead yang berantakan dari lapisan Python dan lapisan abstraksi, dan menyesuaikannya untuk memori terpadu + GPU untuk memeras gelombang kinerja ekstrem ini. Nilai sebenarnya dari model lokal tidak pernah "jalankan saja jika Anda bisa", tetapi berjalan cukup cepat, cukup ekonomis, dan cukup pribadi untuk benar-benar menggantikan cloud. Token pertama 6.6ms berarti obrolan, suara, suplemen kode, dan JSON panggilan Agen tanpa penundaan; Tok/s tinggi dapat memperluas konteks, paralelisme multi-alat, dan menghindari kemacetan. Ditambah dengan nol jaringan, tanpa langganan, dan data yang tidak pernah meninggalkan perangkat, seperti inilah AI lokal tingkat produktiviti. Lebih cepat bukan untuk memamerkan angka tok/s, tetapi membiarkan model kecil secara langsung mengalahkan pengalaman respons model besar cloud di perangkat Apple. AI di perangkat Apple seharusnya dimainkan seperti ini, dan sekarang benar-benar mulai berakselerasi. Apple benar-benar duduk di rumah, komunitas open source sedang membangun untuk membuka kotak Pandora, AI lokal terlalu nyaman, saya hanya berharap model yang lebih cerdas akan muncul.