1/ I LLM formano spontaneamente perfetti varietà geometriche: cerchi per i mesi, spirali per le linee temporali. Di solito assumiamo che questo richieda dinamiche di apprendimento profonde e complesse. Un nuovo articolo dimostra che in realtà è solo una statistica di base dei dati a forzare la matematica. 🧵

1/ Sappiamo che i Transformers falliscono nell'estrapolazione della lunghezza. Ma nuove ricerche mostrano un difetto più profondo: falliscono nel tracciamento dello stato IN-DISTRIBUZIONE. Non apprendono regole algoritmiche, ma memorizzano solo circuiti isolati per lunghezza. 🧵

1/ La maggior parte dei modelli di mondo centrati sugli oggetti imbroglia. Imparano come si muove un oggetto isolato, ma falliscono completamente nel modellare collisioni o interazioni. Per risolvere questo, non abbiamo bisogno di architetture più pesanti. Dobbiamo ripensare l'obiettivo di mascheramento. 🧵