Benchmarklara göre Qwen3.5 4B, GPT 4o kadar iyi. GPT 4o ~2 yıl önce (Mayıs 2024) çıktı. Qwen 3.5 4B, modern mobil cihazlarda kolayca çalışıyor. Yani bir veri merkezindeki sınır zekası ile iPhone'unuzda eşit kalitede bir model çalıştırmak arasındaki fark 2-3 yıl olabilir. (Qwen3.5 4B'nin 4O'dan daha fazla benchmaxxed olması muhtemelen 3'e daha yakın) Watt başına zeka artışı eğiliminin değişmesini beklemiyorum. Yani 2-3 yıl içinde iPhone'da GPT 5.x kalitesinde modeller çalıştırmamız muhtemel. Oldukça çılgın.

@martinald hesaplamayı yapmadım (görmek çok merak ederim). Ama bahse girerim >100k bağlam uzunluğunu, 10GB olan bir telefonda KV önbellek kuantizasyonu ile çalıştırabilirsin.

Bana bağlam söyleyen herkes sorun. Sınırlı ama aşılmaz değil. Qwen 3.5 hibrit bir modeldir. 8 küresel dikkat katmanı vardır (kafa dim=128, anahtar/değer başlık=4). 8 bit KV önbellek kuantizasyonunu varsayalım (kalitede kayıp olmadan). 2GB ile ~65k bağlam uzunluğu sığdırabilirsin. İyi başlangıç. İyileyecek.

Bana bağlam söyleyen herkes sorun. Sınırlı ama aşılmaz değil. Qwen 3.5 hibrit bir modeldir. 8 küresel dikkat katmanı vardır (kafa dim=256, anahtar/değer başlık=4). 8 bit KV önbellek kuantizasyonunu varsayalım (kalitede kayıp olmadan). 2GB ile ~65k bağlam uzunluğu sığdırabilirsin. İyi başlangıç. İyileyecek.

@simonw (Bazı sonuçları çapraz referans yaptım ve gördüğüm kadarıyla doğrular)

Bu modelin benchmaxxed / değerlendirme sızıntısı / 4o kadar iyi olmadığı yönünde birçok yorum var. İdeal olarak gizli ve çeşitli ölçütler kullanarak titiz bir analiz yapan biri olsa iyi olurdu. Qwen 3.5 4B hangi Frontier modeline kıyaslanabilir? Sınırdan kenara kadar makul bir tahmin nedir? Şu ana kadar 3 yıldan fazla olduğuna dair bir kanıt görmüyorum ve muhtemelen 2-4 yıl civarında bir yerde.