Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
kijk hier eens naar 👌🏻
5 mrt, 11:58
In slechts 48 uur hebben we bij @RunAnywhereAI MetalRT gebouwd: we versloegen @Apple op hun eigen terrein en leverden de SNELSTE LLM-inferentie-engine op de markt voor Apple Silicon op dit moment.
- 570 tok/s decodering @liquidai LFM 2.5-1.2B 4-bit
- 658 tok/s decodering @Alibaba_Qwen Qwen3-0.6B, 4-bit
- 6.6 ms tijd-tot-eerste-token
- 1.19× sneller dan Apple's eigen MLX (identieke modelbestanden)
- 1.67× sneller dan llama.cpp gemiddeld
We hebben Apple MLX, llama.cpp, uzu (door TryMirai) en Ollama verpletterd over vier verschillende 4-bit modellen, inclusief de on-device geoptimaliseerde LFM2.5-1.2B op een enkele M4 Max.
Opgewonden voor deze!
185
Echt indrukwekkende release van hybride kleine modellen van het Qwen-team, zoals altijd!
Mensen vragen zich af hoe ze zich verhouden in snelheid, latentie en geheugen ten opzichte van @liquidai’s LFM's voor on-device implementatie?
Hier is een snelle profilering op Apple M3 Ultra:
> LFM2.5-1.2B is 52% sneller in decoderen dan de Qwen3.5-0.8B.
> LFM2-700M is 71% sneller dan Qwen3.5-0.8B bij decoderen
> LFM2-2.6B heeft dezelfde snelheid als Qwen3.5-2B bij decoderen
> LFM2-700M gebruikt 46% minder piekgeheugen dan Qwen3.5-0.8B
> LFM2-2.6B gebruikt 21% minder piekgeheugen dan Qwen3.5-2B
> LFM's prefill met dezelfde parameter grootte is over het algemeen 12% sneller dan Qwen3.5
We hebben de LFM2-serie ontworpen met onze hardware-in-the-loop meta AI ontwerpmethode die ons in staat stelt de meest efficiënte architectuur voor een gegeven processor te vinden zonder kwaliteitsverlies.
Deze test is uitgevoerd op Apple M3 Ultra, 512 GB unified memory
Configuratie:
> 512 prompt tokens, 128 generatie tokens,
> 5 proeven per configuratie
> Framework: MLX (mlx-lm / mlx-vlm)
2 mrt, 21:18
🚀 Introductie van de Qwen 3.5 Kleine Modelserie
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Meer intelligentie, minder rekenkracht.
Deze kleine modellen zijn gebouwd op dezelfde Qwen3.5 basis — native multimodaal, verbeterde architectuur, geschaalde RL:
• 0.8B / 2B → klein, snel, geweldig voor edge-apparaten
• 4B → een verrassend sterke multimodale basis voor lichte agenten
• 9B → compact, maar al de kloof aan het dichten met veel grotere modellen
En ja — we brengen ook de Basis modellen uit.
We hopen dat dit beter onderzoek, experimentatie en industriële innovatie in de echte wereld ondersteunt.
Hugging Face:
ModelScope:
173
Boven
Positie
Favorieten