förra veckan släppte Karpathy den ULTIMATA guiden för att speed-running dig in i LLM I det här projektet kommer du att bygga allt du behöver, allt under 8K rader kod > träna tokeniseraren – ny Rust-implementering > förträna en transformator LLM på fineweb > utvärdera kärnpoängen över en massa mätvärden > Midtrain – Användarassistentsamtal från Smoltalk, > flervalsfrågor, verktygsanvändning > SFT och utvärdera sedan chattmodellen på: > världskunskap MCQ (arc-e/c, mmlu) > matematik (GSM8K) > kod (human) > rl modellen (valfritt) på gsm8k med "grpo" > effektiv slutsatsdragning: > kV-cache, snabb förifyllning/avkodning > verktygsanvändning (Python-tolk, sandboxed) > åtkomst via CLI eller ChatGPT-liknande webbgränssnitt > skriver ett enda rapportkort för markdown, > summering + spelifiering av hela pipelinen Modellen du ska bygga: Endast > roterande (inga positionella inbäddningar) > qk-normen...