1/ تشكل نماذج اللغة الكبيرة تلقائيا متعددات هندسية مثالية: دوائر لأشهر، ودوامات للجداول الزمنية. عادة ما نفترض أن هذا يتطلب ديناميكيات تعلم عميقة ومعقدة. تثبت ورقة بحثية جديدة أن الأمر في الواقع مجرد إحصاء بيانات أساسي يفرض الرياضيات. 🧵

1/ نعلم أن ترانسفورمرز تفشل في الاستقراء المطول. لكن الأبحاث الجديدة تظهر عيبا أعمق: فهي تفشل في تتبع حالات IN-DISTRIBUTION. هم لا يتعلمون القواعد الخوارزمية، بل يحفظون دوائر معزولة حسب الطول. 🧵

1/ معظم نماذج العالم التي تركز على الأشياء تغش. يتعلمون كيف يتحرك الجسم المعزول، لكنهم يفشلون تماما في نمذجة التصادمات أو التفاعلات. لإصلاح هذا، لا نحتاج إلى هياكل أثقل. نحتاج إلى إعادة التفكير في هدف الإخفاء. 🧵