Это происходит: автономные исследования ИИ агентами ИИ на nanochat! 629 строк кода для обучения GPT-2. Один файл markdown, определяющий исследовательскую повестку. Это вся исследовательская лаборатория. Исследователи ИИ могут быть первыми, кого заменит ИИ. Самый развлекательный исход является самым вероятным.
Andrej Karpathy
Andrej Karpathy7 часов назад
Я упаковал проект "autoresearch" в новый самодостаточный минимальный репозиторий, если кто-то хочет поиграть в выходные. Это, по сути, ядро обучения LLM nanochat, упрощенное до версии на одном GPU, состоящей из одного файла примерно на 630 строк кода, затем: - человек работает над подсказкой (.md) - агент ИИ работает над кодом обучения (.py) Цель состоит в том, чтобы разработать ваших агентов для достижения самой быстрой исследовательской прогрессии бесконечно и без вашего участия. На изображении каждая точка — это завершенный запуск обучения LLM, который длится ровно 5 минут. Агент работает в автономном цикле на ветке git и накапливает коммиты git к скрипту обучения, когда находит лучшие настройки (с меньшей валидационной потерей к концу) архитектуры нейронной сети, оптимизатора, всех гиперпараметров и т. д. Вы можете представить себе сравнение исследовательского прогресса различных подсказок, различных агентов и т. д. Часть кода, часть научной фантастики и щепотка психоза :)
Призывать GPT-5.4 xhigh и Claude Opus 4.6, предоставляя им 16 GPU и позволяя им проводить автономные исследования в солнечную субботу, крайне приятно. Также это довольно хорошая оценка того, какая модель является лучшим исследователем. Возможно, завтра опубликую интересные результаты.
43