Según los benchmarks, Qwen3.5 4B es tan bueno como GPT 40. GPT 40 salió hace ~2 años (mayo de 2024). Qwen 3.5 4B funciona fácilmente en dispositivos móviles modernos. Así que la diferencia entre la inteligencia de vanguardia en un centro de datos y ejecutar un modelo de igual calidad en tu iPhone podría ser de 2-3 años. (Probablemente más cerca de 3 asumiendo que Qwen3.5 4B esté más benchmaxxed que 4o) No espero que cambie la tendencia de aumentar la inteligencia por vatio. Así que en 2-3 años es plausible que estemos usando modelos con calidad GPT 5.x en un iPhone. Bastante salvaje.

@martinald no he hecho el cálculo (tendría mucha curiosidad por verlo). Pero apostaría a que podrías hacer que >100k de longitud de contexto funcione en un teléfono con 10GB y cuantización de caché KV.

Cualquiera que me diga contexto es el problema. Es limitado pero no insuperable. Qwen 3.5 es un modelo híbrido. Tiene 8 capas globales de atención (cabeza atenuada = 128, cabezas clave/valor = 4). Supongamos cuantización de caché KV de 8 bits (sin pérdida de calidad). Con 2GB puedes meter ~65k de longitud contextual. Buen comienzo. Mejorará.

Cualquiera que me diga contexto es el problema. Es limitado pero no insuperable. Qwen 3.5 es un modelo híbrido. Tiene 8 capas de atención globales (cabeza de difusión=256, cabezas clave/valor=4). Supongamos cuantización de caché KV de 8 bits (sin pérdida de calidad). Con 2GB puedes meter ~65k de longitud contextual. Buen comienzo. Mejorará.

@simonw (he cruzado algunos resultados y, por lo que puedo ver, son correctos)

Muchos comentarios dicen que este modelo está en el benchmaxx / evalúos filtrados / no es tan bueno como el 4o. Sería bueno que alguien hiciera un análisis riguroso usando benchmarks idealmente ocultos y diversos. ¿A qué modelo de frontera es comparable el Qwen 3.5 4B? ¿Cuál es una estimación razonable para el tiempo desde la frontera hasta el borde? Hasta ahora no veo ninguna evidencia de que haya sido más de 3 años, y muy probablemente en torno a los 2-4 años.