Está a acontecer: pesquisa autónoma de IA por agentes de IA no nanochat! 629 linhas de código para treinar o GPT-2. Um ficheiro markdown a definir a agenda de pesquisa. Esse é todo o laboratório de pesquisa. Os investigadores de IA podem ser os primeiros a serem substituídos pela IA. O resultado mais divertido é o mais provável.
Andrej Karpathy
Andrej KarpathyHá 5 horas
Empacotei o projeto "autoresearch" em um novo repositório minimalista autossuficiente, caso as pessoas queiram brincar durante o fim de semana. É basicamente o núcleo de treinamento do nanochat LLM reduzido a uma versão de um único GPU, um arquivo com cerca de 630 linhas de código, então: - o humano itera sobre o prompt (.md) - o agente de IA itera sobre o código de treinamento (.py) O objetivo é projetar seus agentes para fazer o progresso de pesquisa mais rápido indefinidamente e sem qualquer envolvimento seu. Na imagem, cada ponto é uma execução completa de treinamento de LLM que dura exatamente 5 minutos. O agente trabalha em um loop autônomo em uma branch de recurso do git e acumula commits do git no script de treinamento à medida que encontra melhores configurações (com menor perda de validação no final) da arquitetura da rede neural, do otimizador, todos os hiperparâmetros, etc. Você pode imaginar comparar o progresso de pesquisa de diferentes prompts, diferentes agentes, etc. Parte código, parte ficção científica e uma pitada de psicose :)
Invocar o GPT-5.4 xhigh e o Claude Opus 4.6, dando-lhes 16 GPUs e permitindo que façam pesquisa autónoma num sábado ensolarado é extremamente satisfatório. Além disso, é uma boa avaliação para saber qual modelo é o melhor pesquisador. Pode que publique resultados interessantes amanhã.
31