Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
Kolla in 👌🏻 det här
5 mars 11:58
På bara 48 timmar på @RunAnywhereAI byggde vi MetalRT: slog @Apple på deras eget spel och levererade den SNABBASTE LLM-inferensmotorn på marknaden för Apple Silicon just nu.
- 570 tok/s avkodning @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s avkodning @Alibaba_Qwen Qwen3-0.6B, 4-bitars
- 6,6 ms tid till första token
- 1.19× snabbare än Apples egen MLX (identiska modellfiler)
- 1,67× snabbare än llama.cpp i genomsnitt
Vi krossade Apple MLX, llama.cpp, uzu (av TryMirai) och Ollama över fyra olika 4-bitarsmodeller, inklusive den on-device optimerade LFM2.5-1.2B på en enda M4 Max.
Ser fram emot den här!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
179
Verkligen imponerande lansering av hybridmodeller från Qwen-teamet som alltid!
Folk undrar hur de jämför sig i hastighet, latens och minne med @liquidai:s LFM:er för on-device distribution?
Här är en snabb översikt av Apple M3 Ultra:
> LFM2.5-1.2B är 52 % snabbare vid avkodning än Qwen3.5-0.8B.
> LFM2-700M är 71 % snabbare än Qwen3.5-0.8B vid avkodning
> LFM2-2.6B har samma hastighet som Qwen3.5-2B vid avkodning
> LFM2-700M använder 46 % mindre toppminne än Qwen3.5-0.8B
> LFM2-2.6B använder 21 % mindre peak-minne än Qwen3.5-2B
> lfms-prefill med samma parameterstorlek är generellt 12 % snabbare än Qwen3.5
Vi designade LFM2-serien med vår hårdvaru-i-loop-meta-AI-designmetod som gör att vi kan hitta den mest effektiva arkitekturen för en given processor utan kvalitetskompromiss.
Detta test görs på Apple M3 Ultra, 512 GB enhetligt minne
Konfiguration:
> 512 prompt-tokens, 128 generationstokens,
> 5 försök per konfiguration
> Ramverk: MLX (mlx-lm / mlx-vlm)
2 mars 21:18
🚀 Introduktion av Qwen 3.5 Small Model Series
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Mer intelligens, mindre beräkning.
Dessa små modeller bygger på samma Qwen3.5-grund — inbyggd multimodal, förbättrad arkitektur, skalad RL:
• 0,8B / 2B → liten, snabb, perfekt för edge-enheter
• 4B → en förvånansvärt stark multimodal bas för lättviktsagenter
• 9B → kompakt, men minskar redan avståndet med mycket större modeller
Och ja — vi släpper också basmodellerna.
Vi hoppas att detta bättre stödjer forskning, experiment och verklig industriell innovation.
Kramande ansikte:
ModelScope:
169
Topp
Rankning
Favoriter