1/ LLM-y spontanicznie tworzą doskonałe geometryczne rozmaitości: okręgi dla miesięcy, spirale dla linii czasowych. Zwykle zakładamy, że wymaga to głębokiej, złożonej dynamiki uczenia. Nowy artykuł udowadnia, że w rzeczywistości to tylko podstawowa statystyka danych wymuszająca matematykę. 🧵

1/ Wiemy, że Transformery nie radzą sobie z ekstrapolacją długości. Ale nowe badania pokazują głębszą wadę: nie radzą sobie z śledzeniem stanów w ROZKŁADZIE. Nie uczą się reguł algorytmicznych, tylko zapamiętują izolowane obwody w zależności od długości. 🧵

1/ Większość modeli świata skoncentrowanych na obiektach oszukuje. Uczą się, jak porusza się izolowany obiekt, ale całkowicie nie potrafią modelować kolizji ani interakcji. Aby to naprawić, nie potrzebujemy cięższych architektur. Musimy przemyśleć cel maskowania. 🧵