Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
sprawdź to 👌🏻
5 mar, 11:58
W zaledwie 48 godzin w @RunAnywhereAI zbudowaliśmy MetalRT: pokonując @Apple w ich własnej grze i dostarczając NAJSZYBSZY silnik wnioskowania LLM na rynku dla Apple Silicon w tej chwili.
- 570 tok/s dekodowanie @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s dekodowanie @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms czas do pierwszego tokena
- 1.19× szybszy niż własny MLX Apple'a (identyczne pliki modelu)
- 1.67× szybszy niż llama.cpp w średniej
Zdominowaliśmy Apple MLX, llama.cpp, uzu(by TryMirai) i Ollama w czterech różnych modelach 4-bit, w tym zoptymalizowanym na urządzeniu LFM2.5-1.2B na pojedynczym M4 Max.
Podekscytowani tym!
189
Naprawdę imponujące wydanie hybrydowych małych modeli od zespołu Qwen, jak zawsze!
Ludzie pytają, jak wypadają pod względem prędkości, opóźnienia i pamięci w porównaniu do LFMs od @liquidai do wdrożenia na urządzeniach?
Oto szybkie profilowanie na Apple M3 Ultra:
> LFM2.5-1.2B jest o 52% szybszy w dekodowaniu niż Qwen3.5-0.8B.
> LFM2-700M jest o 71% szybszy niż Qwen3.5-0.8B w dekodowaniu
> LFM2-2.6B ma tę samą prędkość co Qwen3.5-2B w dekodowaniu
> LFM2-700M używa o 46% mniej pamięci szczytowej niż Qwen3.5-0.8B
> LFM2-2.6B używa o 21% mniej pamięci szczytowej niż Qwen3.5-2B
> lfms prefill z tym samym rozmiarem parametrów jest zazwyczaj o 12% szybszy niż Qwen3.5
Zaprojektowaliśmy serię LFM2 z naszym podejściem do projektowania meta AI z hardware-in-the-loop, które pozwala nam znaleźć najbardziej efektywną architekturę dla danego procesora bez poświęcania jakości.
Test został przeprowadzony na Apple M3 Ultra, 512 GB pamięci zintegrowanej
Konfiguracja:
> 512 tokenów prompt, 128 tokenów generacji,
> 5 prób na konfigurację
> Framework: MLX (mlx-lm / mlx-vlm)
2 mar, 21:18
🚀 Przedstawiamy serię małych modeli Qwen 3.5
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Więcej inteligencji, mniej obliczeń.
Te małe modele są oparte na tej samej podstawie Qwen3.5 — natywne multimodalne, ulepszona architektura, skalowane RL:
• 0.8B / 2B → małe, szybkie, świetne do urządzeń brzegowych
• 4B → zaskakująco silna multimodalna baza dla lekkich agentów
• 9B → kompaktowy, ale już zbliżający się do znacznie większych modeli
I tak — wydajemy również modele bazowe.
Mamy nadzieję, że lepiej wspiera to badania, eksperymenty i innowacje przemysłowe w rzeczywistym świecie.
Hugging Face:
ModelScope:
183
Najlepsze
Ranking
Ulubione