1/ LLMs bilden spontan perfekte geometrische Mannigfaltigkeiten: Kreise für Monate, Spiralen für Zeitlinien. Wir nehmen normalerweise an, dass dies tiefgreifende, komplexe Lern-Dynamiken erfordert. Ein neues Papier beweist, dass es tatsächlich nur grundlegende Datenstatistiken sind, die die Mathematik erzwingen. 🧵

1/ Wir wissen, dass Transformer bei der Längenerweiterung versagen. Aber neue Forschungen zeigen einen tieferliegenden Fehler: Sie versagen beim IN-DISTRIBUTION-Zustands-Tracking. Sie lernen keine algorithmischen Regeln, sie merken sich nur isolierte Schaltungen pro Länge. 🧵

1/ Die meisten objektzentrierten Weltmodelle betrügen. Sie lernen, wie sich ein isoliertes Objekt bewegt, versagen jedoch völlig darin, Kollisionen oder Interaktionen zu modellieren. Um dies zu beheben, benötigen wir keine schwereren Architekturen. Wir müssen das Maskierungsziel neu überdenken. 🧵