1/ Sabemos que los Transformers fallan en la extrapolación de longitudes. Pero nuevas investigaciones muestran un fallo más profundo: fallan en el seguimiento del estado IN-DISTRIBUTION. No aprenden reglas algorítmicas, simplemente memorizan circuitos aislados por longitud. 🧵