Vain 48 tunnissa @RunAnywhereAI:ssa rakensimme MetalRT:n: voittaen @Apple heidän omassa pelissään ja toimittaen NOPEIMMAN LLM-päättelymoottorin markkinoilla Apple Silicon -laitteille juuri nyt. - 570 tok/s dekoodaus @liquidai LFM 2.5-1.2B 4-bittinen - 658 tok/s dekoodaus @Alibaba_Qwen Qwen3-0.6B, 4-bittinen - 6.6 ms aika ensimmäiseksi tokeniksi - 1.19× nopeampi kuin Applen oma MLX (identtiset mallitiedostot) - 1,67× keskimäärin nopeampi kuin llama.cpp Murskasimme Apple MLX:n, llama.cpp:n, Uzun (TryMirai) ja Ollaman neljässä eri 4-bittisessä mallissa, mukaan lukien laitteessa optimoitu LFM2.5-1.2B yhdellä M4 Maxilla. Odotan innolla tätä! #ycombinator #runanywhere #ondeviceai #applesilicon #mlx