トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
これを見て 👌🏻
3月5日 11:58
@RunAnywhereAIでわずか48時間でMetalRTを構築しました。@Appleのゲームを打ち負かし、現在Apple Silicon向けに市場に出ている最速のLLM推論エンジンを届けました。
- 570 tok/s デコード @liquidai LFM 2.5-1.2B 4ビット
- 658 tok/s @Alibaba_Qwen Qwen3-0.6B、4ビット デコード
- 6.6 ms 初回トークン使用時間
- 1.19× AppleのMLXより高速(同一モデルファイル)
- 1.67× 平均でllama.cppより速い
私たちはApple MLX、llama.cpp、uzu(TryMirai製)、Ollamaを4つの異なる4ビットモデルで圧倒しました。その中には、デバイス最適化されたLFM2.5-1.2Bも1台のM4 Maxで搭載されています。
これは楽しみです!
#ycombinator #runanywhere #ondeviceai #applesilicon #mlx
173
Qwenチームによるハイブリッドのタイニーモデルのリリースは、いつも通り本当に印象的です!
オンデバイス展開において、@liquidaiのLFMと速度、レイテンシ、メモリの面でどう比較できるのか、多くの人が尋ねています。
こちらがApple M3 Ultraの簡単なプロフィールです:
> LFM2.5-1.2BはQwen3.5-0.8Bより52%高速なデコード速度です。
> LFM2-700Mはデコード時にQwen3.5-0.8Bより71%速いです
> LFM2-2.6Bはデコード時にQwen3.5-2Bと同じ速度を持ちます
> LFM2-700MはQwen3.5-0.8Bに比べてピークメモリを46%少なく使用します
> LFM2-2.6BはQwen3.5-2Bに比べてピークメモリを21%少なく使用します
> 同じパラメータサイズのlfmsプリフィルは、一般的にQwen3.5より12%高速です
私たちは、品質を犠牲にすることなく、特定のプロセッサに最適なアーキテクチャを見つけるためのハードウェア・イン・ザ・ループのメタAI設計アプローチでLFM2シリーズを設計しました。
このテストはApple M3 Ultra、512GBユニファイドメモリで実施されます
設定:
>512個のプロンプトトークン、128個の生成トークン、
> 各構成につき5回の試行
> フレームワーク:MLX(mlx-lm / mlx-vlm)
3月2日 21:18
🚀 Qwen 3.5スモールモデルシリーズの紹介
Qwen3.5-0.8B ·Qwen3.5-2B ·Qwen 3.5-4B ·Qwen 3.5-9B
✨ 知能は増やし、計算は減らします。
これらの小規模モデルは同じQwen3.5の基盤の上に構築されています — ネイティブのマルチモーダル、改良されたアーキテクチャ、スケールされた強化学習(RL):
• 0.8B / 2B →小さくて高速、エッジデバイスに最適です
・4B→軽量エージェントにとって驚くほど強力なマルチモーダル基盤
・9B→コンパクトですが、すでにはるかに大型モデルとの差を縮めています
そして、ベースモデルもリリースします。
これにより、研究、実験、そして現実世界の産業イノベーションをよりよく支援できることを願っています。
ハグフェイス:
モデルスコープ:
163
トップ
ランキング
お気に入り