1/ LLM secara spontan membentuk manifold geometris yang sempurna: lingkaran selama berbulan-bulan, spiral untuk garis waktu. Kami biasanya berasumsi ini membutuhkan dinamika pembelajaran yang mendalam dan kompleks. Sebuah makalah baru membuktikan bahwa itu sebenarnya hanya statistik data dasar yang memaksa matematika. 🧵

1/ Kita tahu Transformers gagal dalam ekstrapolasi panjang. Tetapi penelitian baru menunjukkan kelemahan yang lebih dalam: mereka gagal dalam pelacakan status IN-DISTRIBUTION. Mereka tidak mempelajari aturan algoritmik, mereka hanya menghafal sirkuit terisolasi per panjang. 🧵

1/ Sebagian besar model dunia yang berpusat pada objek curang. Mereka mempelajari bagaimana objek terisolasi bergerak, tetapi sama sekali gagal memodelkan tabrakan atau interaksi. Untuk memperbaikinya, kita tidak memerlukan arsitektur yang lebih berat. Kita perlu memikirkan kembali tujuan masking. 🧵