1/ LLM:er bildar spontant perfekta geometriska mångfalder: cirklar för månader, spiraler för tidslinjer. Vi antar vanligtvis att detta kräver djupa, komplexa inlärningsdynamiker. En ny artikel bevisar att det egentligen bara är grundläggande datastatistik som tvingar fram matematiken. 🧵

1/ Vi vet att transformatorer går sönder vid förlängningsextrapolering. Men ny forskning visar på en djupare brist: de misslyckas med att spåra IN-DISTRIBUTION state. De lär sig inte algoritmiska regler, de memorerar bara isolerade kretsar per längd. 🧵

1/ De flesta objektcentrerade världsmodeller fuskar. De lär sig hur ett isolerat objekt rör sig, men misslyckas helt med att modellera kollisioner eller interaktioner. För att lösa detta behöver vi inte tyngre arkitekturer. Vi måste ompröva målet med maskering. 🧵