1/ LLMは自発的に完璧な幾何学的多様体を形成します。月は円、タイムラインは螺旋です。通常、これには深く複雑な学習のダイナミクスが必要だと考えます。新しい論文は、実際には基本的なデータ統計が数学を強制していることを証明しています。 🧵

1/ トランスフォーマーは拡張に失敗することがわかっています。しかし、新しい研究ではより深い欠陥が示されています。それは、分布内州の追跡に失敗しているということです。アルゴリズムのルールを学ぶのではなく、長さごとの孤立した回路を暗記するだけです。🧵

1/ ほとんどのオブジェクト中心の世界モデルは不正をします。孤立した物体がどのように動くかは学びますが、衝突や相互作用のモデル化にはまったく失敗しています。これを解決するために、より重いアーキテクチャは必要ありません。マスキングの目的を見直す必要があります。🧵