1/ Các LLM tự hình thành các đa tạp hình học hoàn hảo: hình tròn cho các tháng, hình xoắn ốc cho các dòng thời gian. Chúng ta thường giả định rằng điều này đòi hỏi các động lực học học sâu, phức tạp. Một bài báo mới chứng minh rằng thực ra chỉ cần các thống kê dữ liệu cơ bản là đủ để ép buộc toán học. 🧵

1/ Chúng ta biết rằng Transformers thất bại trong việc suy diễn chiều dài. Nhưng nghiên cứu mới cho thấy một lỗi sâu hơn: chúng thất bại trong việc theo dõi trạng thái TRONG PHÂN PHỐI. Chúng không học các quy tắc thuật toán, chúng chỉ ghi nhớ các mạch riêng lẻ theo chiều dài. 🧵

1/ Hầu hết các mô hình thế giới tập trung vào đối tượng đều gian lận. Chúng học cách một đối tượng cô lập di chuyển, nhưng hoàn toàn không thể mô hình hóa va chạm hoặc tương tác. Để khắc phục điều này, chúng ta không cần các kiến trúc nặng hơn. Chúng ta cần suy nghĩ lại về mục tiêu che chắn. 🧵