Geçen hafta Karpathy, LLM'lere hızlı bir şekilde girmek için ULTIMATE kılavuzunu yayınladı Bu projede, tümü 8 bin kod satırı altında olmak üzere tüm temel bilgileri oluşturacaksınız > Tokenizer'ı eğitin — Yeni Rust Uygulaması > fineweb'de bir transformatör LLM'sini önceden eğitin > Çekirdek puanı bir dizi metrikte değerlendirir > Midtrain — Smoltalk'tan kullanıcı asistanı sohbetleri, > çoktan seçmeli Q'lar, araç kullanımı SFT'yi >, ardından sohbet modelini şu şekilde değerlendirin: > dünya bilgisi MCQ (arc-e/c, mmlu) > Matematik (GSM8K) > kodu (insaniyet) > Modeli (isteğe bağlı olarak) GSM8K'da "grpo" ile rl yapın > verimli çıkarım: > kV önbellek, hızlı ön doldurma/kod çözme > aracı kullanımı (python yorumlayıcısı, korumalı alan) CLI veya ChatGPT benzeri WebUI aracılığıyla > erişim > tek bir markdown karnesi yazmak, > Tüm boru hattını özetlemek + oyunlaştırmak Oluşturacağınız model: > yalnızca döner (konumsal gömme yok) > qk normu...