1/ LLMs спонтанно формируют идеальные геометрические многообразия: круги для месяцев, спирали для временных линий. Мы обычно предполагаем, что это требует глубоких, сложных динамик обучения. Новая статья доказывает, что на самом деле это просто базовая статистика данных, заставляющая математику. 🧵

1/ Мы знаем, что трансформеры не справляются с экстраполяцией по длине. Но новые исследования показывают более глубокий недостаток: они не справляются с отслеживанием состояний в рамках распределения. Они не учат алгоритмические правила, они просто запоминают изолированные цепи по длине. 🧵

1/ Большинство объектно-центричных мировых моделей обманывают. Они учат, как движется изолированный объект, но полностью не могут смоделировать столкновения или взаимодействия. Чтобы это исправить, нам не нужны более тяжелые архитектуры. Нам нужно переосмыслить цель маскирования. 🧵