LLMs 1/ formam espontaneamente variedades geométricas perfeitas: círculos por meses, espirais para linhas do tempo. Geralmente assumimos que isso exige dinâmicas de aprendizado profundas e complexas. Um novo artigo prova que na verdade são apenas estatísticas básicas de dados forçando a matemática. 🧵

1/ Sabemos que Transformers falham na extrapolação de longos. Mas novas pesquisas mostram uma falha mais profunda: eles falham no rastreamento de estado IN-DISTRIBUTION. Eles não aprendem regras algorítmicas, apenas memorizam circuitos isolados por comprimento. 🧵

1/ A maioria dos modelos de mundo centrados em objetos trapaceia. Eles aprendem como um objeto isolado se move, mas falham completamente em modelar colisões ou interações. Para resolver isso, não precisamos de arquiteturas mais pesadas. Precisamos repensar o objetivo de mascarar. 🧵