上週，Karpathy 發布了終極指南，教你如何快速進入 LLMs。 在這個項目中，你將構建所有基本要素，總行數不超過 8k 行代碼。 > 訓練分詞器 — 新的 Rust 實現 > 在 fineweb 上預訓練一個變壓器 LLM > 在多個指標上評估核心分數 > 中途訓練 — 來自 smoltalk 的用戶助手對話， > 多選題，工具使用 > sft，然後在以下方面評估聊天模型： > 世界知識 MCQ (arc-e/c, mmlu) > 數學 (gsm8k) > 代碼 (humaneval) > 可選地在 gsm8k 上對模型進行 rl，使用 "grpo" > 高效推理： > kv 緩存，快速預填/解碼 > 工具使用 (python 解釋器，沙盒) > 通過 cli 或類似 chatgpt 的 webui 訪問 > 撰寫一份單一的 markdown 報告卡， > 總結 + 遊戲化整個流程 你將構建的模型： > 僅使用旋轉（不使用位置嵌入） > qk 正規化...