Los LLMs 1/ forman espontáneamente variedades geométricas perfectas: círculos durante meses, espirales para líneas temporales. Normalmente asumimos que esto requiere dinámicas de aprendizaje profundas y complejas. Un nuevo artículo demuestra que en realidad son estadísticas básicas de datos que obligan a hacer las matemáticas. 🧵

1/ Sabemos que los Transformers fallan en la extrapolación de longitudes. Pero nuevas investigaciones muestran un fallo más profundo: fallan en el seguimiento del estado IN-DISTRIBUTION. No aprenden reglas algorítmicas, simplemente memorizan circuitos aislados por longitud. 🧵

1/ La mayoría de los modelos de mundo centrados en objetos hacen trampas. Aprenden cómo se mueve un objeto aislado, pero fallan completamente en modelar colisiones o interacciones. Para solucionar esto, no necesitamos arquitecturas más pesadas. Necesitamos replantearnos el objetivo de enmascarar. 🧵