Se tapahtuu: autonominen tekoälytutkimus tekoälyagenttien toimesta nanochatissa! 629 koodiriviä GPT-2:n junaan. Yksi markdown-tiedosto, joka määrittelee tutkimusagendan. Se on koko tutkimuslaboratorio. Tekoälytutkijat saattavat olla ensimmäiset, jotka korvataan tekoälyllä. Viihdyttävin lopputulos on todennäköisin.
Andrej Karpathy
Andrej Karpathy5 tuntia sitten
Paketoin "autoresearch"-projektin uuteen itsenäiseen minimirepositoon, jos ihmiset haluavat pelata viikonloppuna. Se on käytännössä nanochat LLM -koulutusydin, joka on pelkistetty yhteen GPU:hun, yhteen tiedostoversioon ~630 koodirivistä, sitten: - ihminen iteroi kehotteen (.md) mukaisesti - tekoälyagentti iteroi koulutuskoodia (.py) Tavoitteena on suunnitella agenttisi tekemään nopeinta tutkimusedistystä loputtomasti ilman omaa osallistumistasi. Kuvassa jokainen piste on täydellinen LLM-harjoitus, joka kestää tasan 5 minuuttia. Agentti toimii autonomisessa silmukassa git-ominaisuushaarassa ja kerää git-commit-yhdisteitä koulutusskriptiin, kun se löytää parempia asetuksia (pienempi validointihäviö lopussa) neuroverkkoarkkitehtuurille, optimoijalle, kaikille hyperparametreille jne. Voit kuvitella vertailevasi eri promptien, eri agenttien ym. tutkimuksen edistymistä. Osa koodia, osittain scifiä ja ripaus psykoosia :)
GPT-5.4 xhighin ja Claude Opus 4.6:n kutsuminen, 16 GPU:n antaminen ja autonomisen tutkimuksen antaminen aurinkoisena lauantaina on erittäin palkitsevaa. Lisäksi on aika hyvä arvio siitä, kumpi malli on parempi tutkija. Saatan julkaista mielenkiintoisia tuloksia huomenna.
29