Це відбувається: автономні дослідження ШІ від агентів ШІ на наночаті! 629 рядків коду для навчання GPT-2. Один файл із розміткою, що визначає дослідницький порядок денний. Це вся дослідницька лабораторія. Дослідники ШІ можуть стати першими, кого замінить ШІ. Найцікавіший результат — найімовірніший.
Andrej Karpathy
Andrej Karpathy5 годин тому
Я об'єднав проєкт «autoresearch» у новий автономний мінімальний репозиторій, якщо хтось хоче пограти на вихідних. По суті, це тренувальне ядро nanochat LLM, скорочене до однієї відеокарти, однієї файлової версії з ~630 рядків коду, а потім: - Ітерації людини у запиті (.md) - агент ШІ повторює навчальний код (.py) Мета полягає в тому, щоб ваші агенти могли досягати найшвидшого прогресу в дослідженнях без вашої участі без вашої участі. На зображенні кожна крапка — це повний тренувальний забіг LLM, який триває рівно 5 хвилин. Агент працює в автономному циклі на гілці git feature і накопичує git-коміти до навчального скрипту, коли знаходить кращі налаштування (з меншими втратами валідації наприкінці) архітектури нейронної мережі, оптимізатора, усіх гіперпараметрів тощо. Можна уявити, як ви порівнюєте прогрес досліджень різних запитів, різних агентів тощо. Частково код, частково наукова фантастика і щіпка психозу :)
Викликати GPT-5.4 xhigh і Claude Opus 4.6, дати їм 16 GPU і дозволити автономним дослідженням у сонячну суботу — це надзвичайно приємно. Також це досить хороша оцінка, яка модель є кращою дослідницькою. Можливо, завтра опублікую цікаві результати.
35