1/ Chúng ta biết rằng Transformers thất bại trong việc suy diễn chiều dài. Nhưng nghiên cứu mới cho thấy một lỗi sâu hơn: chúng thất bại trong việc theo dõi trạng thái TRONG PHÂN PHỐI. Chúng không học các quy tắc thuật toán, chúng chỉ ghi nhớ các mạch riêng lẻ theo chiều dài. 🧵