Volgens benchmarks is Qwen3.5 4B net zo goed als GPT 4o. GPT 4o kwam ongeveer 2 jaar geleden uit (mei 2024). Qwen 3.5 4B draait gemakkelijk op moderne mobiele apparaten. Dus de kloof tussen grensintelligentie in een datacenter en het draaien van een model van gelijke kwaliteit op je iPhone zou 2-3 jaar kunnen zijn. (Waarschijnlijk dichter bij 3, ervan uitgaande dat Qwen3.5 4B meer benchmaxxed is dan 4o) Ik verwacht niet dat de trend van toenemende intelligentie-per-watt zal veranderen. Dus over 2-3 jaar is het plausibel dat we GPT 5.x kwaliteitsmodellen op een iPhone draaien. Best wild.

@martinald Ik heb de berekening nog niet gemaakt (ik zou het heel interessant vinden om het te zien). Maar ik zou wedden dat je >100k contextlengte werkend kunt krijgen op een telefoon met 10GB met KV-cache kwantisatie.

Iedereen die me vertelt dat context het probleem is. Het is beperkt, maar niet onoverkomelijk. Qwen 3.5 is een hybride model. Het heeft 8 globale aandachtlagen (hoofd dim=128, sleutel/waarde hoofden=4). Neem aan dat er 8-bits KV-cachekwantisatie is (geen kwaliteitsverlies). Met 2GB kun je ~65k contextlengte passen. Goede start. Het zal beter worden.

Iedereen die me vertelt dat de context het probleem is. Het is beperkt, maar niet onoverkomelijk. Qwen 3.5 is een hybride model. Het heeft 8 globale aandachtlagen (hoofd dim=256, sleutel/waarde hoofden=4). Neem aan dat er 8-bits KV-cachekwantisatie is (geen kwaliteitsverlies). Met 2GB kun je ~65k contextlengte passen. Goed begin. Het zal beter worden.

@simonw (Ik heb enkele van de resultaten gecontroleerd en ze zijn correct voor zover ik kan zien)

Er zijn veel opmerkingen dat dit model benchmaxxed is / gelekte evaluaties heeft / niet zo goed is als 4o. Het zou fijn zijn als iemand een rigoureuze analyse zou doen met idealiter verborgen en diverse benchmarks. Aan welk grensmodel is Qwen 3.5 4B vergelijkbaar? Wat is een redelijke schatting voor de tijd van frontier naar edge? Tot nu toe zie ik geen bewijs dat het meer dan 3 jaar is, en zeer waarschijnlijk ergens in het bereik van 2-4 jaar.