De acordo com benchmarks, Qwen3.5 4B é tão bom quanto GPT 4o. O GPT 40 foi lançado há ~2 anos (maio de 2024). O Qwen 3.5 4B roda facilmente em dispositivos móveis modernos. Então, a diferença entre a inteligência de vanguarda em um datacenter e rodar um modelo de qualidade igual no seu iPhone pode ser de 2 a 3 anos. (Provavelmente mais perto do 3, assumindo que o Qwen3.5 4B seja mais benchmaxxed do que o 4o) Não espero que a tendência de aumentar a inteligência por watt mude. Então, em 2-3 anos, é provável que estaremos rodando modelos com qualidade GPT 5.x em um iPhone. Bem louco.

@martinald ainda não fiz o cálculo (ficaria muito curioso para ver). Mas eu apostaria que você conseguiria fazer >100k de contexto funcionar em um celular com 10GB com quantização de cache KV.

Quem me dá contexto é o problema. É limitado, mas não intransponível. Qwen 3.5 é um modelo híbrido. Possui 8 camadas globais de atenção (cabeça diâmina=128, cabeças chave/valor=4). Assuma quantização de cache KV de 8 bits (sem perda de qualidade). Com 2GB você pode acomodar ~65k de comprimento contextual. Bom começo. Vai melhorar.

Quem me dá contexto é o problema. É limitado, mas não intransponível. Qwen 3.5 é um modelo híbrido. Possui 8 camadas globais de atenção (cabeça dimecer=256, cabeças chave/valor=4). Assuma quantização de cache KV de 8 bits (sem perda de qualidade). Com 2GB você pode acomodar ~65k de comprimento contextual. Bom começo. Vai melhorar.

@simonw (Cruzei alguns resultados e, pelo que percebi, estão corretos)

Muitos comentários dizem que esse modelo é benchmaxxed / avaliações vazadas / não tão bom quanto o 4o. Seria bom se alguém fizesse uma análise rigorosa usando alguns benchmarks idealmente ocultos e diversos. A qual modelo de fronteira o Qwen 3.5 4B é comparável? Qual é uma estimativa razoável para o tempo de fronteira até a borda? Até agora não vejo nenhuma evidência de que seja mais de 3 anos, e muito provavelmente algo na faixa de 2 a 4 anos.