熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁

Andrej Karpathy
建築@EurekaLabsAI。曾任 AI 總監 @ 特斯拉,創始團隊 @ OpenAI,CS231n/PhD @ 史丹佛大學。我喜歡訓練大型深層神經網路。
我有同樣的想法,所以我一直在 nanochat 中玩這個。例如,這裡有 8 個代理(4 個 Claude,4 個 Codex),每個代理都有 1 個 GPU 進行 nanochat 實驗(試圖刪除 logit softcap 而不回歸)。簡而言之,它不奏效,而且一團糟……但看起來仍然很漂亮 :)
我嘗試了幾種設置:8 位獨立的單獨研究人員,1 位首席科學家給 8 位初級研究人員分配工作等等。每個研究計劃都是一個 git 分支,每位科學家將其分叉為一個功能分支,使用 git worktrees 進行隔離,簡單的文件用於通訊,暫時跳過 Docker/虛擬機以簡化(我發現指令足以防止干擾)。研究組在 tmux 窗口網格的互動會話中運行(像 Teams 一樣),這樣看起來很漂亮,可以看到他們的個別工作,並在需要時 "接管",即不使用 -p。
但好吧,迄今為止它不奏效的原因是,這些代理的想法一開始就很糟糕,即使在最高智力下。他們在實驗設計上思考不夠周到,運行一些不合邏輯的變化,沒有創建強有力的基準,也沒有正確地進行消融,沒有仔細控制運行時間或 flops。(舉個例子,昨天一個代理 "發現" 增加網絡的隱藏大小會改善驗證損失,這是一個完全虛假的結果,因為在無限數據範圍內,較大的網絡會有較低的驗證損失,但它也會訓練更長時間,為什麼我必須進來指出這一點並不清楚)。他們非常擅長實施任何給定的範圍明確且描述清楚的想法,但他們不會創造性地生成這些想法。
但目標是你現在正在編程一個組織(例如 "研究組")及其各個代理,因此 "源代碼" 是構成它的提示、技能、工具等和過程的集合。例如,早上的每日站會現在是 "組代碼" 的一部分。而優化 nanochat 預訓練只是眾多任務之一(幾乎像是一個評估)。那麼——給定一個任意任務,你的研究組在這方面產生進展的速度有多快?

Thomas Wolf2026年2月28日
為什麼 NanoGPT 的速通挑戰到現在還不是完全由 AI 自動化研究的呢?
846
隨著對代幣需求的來臨海嘯,為 LLMs 精心協調底層的記憶體+計算提供了重要的機會。
根本且不明顯的限制是,由於晶片製造過程,你會得到兩個完全不同的記憶體池(物理實現也不同):1)緊鄰計算單元的片上 SRAM,速度極快但容量非常低;2)片外 DRAM,容量極高,但其內容只能通過長吸管來提取。除此之外,架構的許多細節(例如,脈衝陣列)、數值等也很重要。
設計最佳的物理基底,然後在 LLMs 的頂部工作流程(推理預填/解碼、訓練/微調等)中協調記憶體+計算,以獲得最佳的吞吐量/延遲/$,可能是當今最有趣的智力難題,並且回報最高(\cite 4.6T 的 NVDA)。所有這一切都是為了快速且便宜地獲得許多代幣。可以說,最重要的工作流程(推理解碼 *和* 在緊密的代理循環中處理長代幣上下文)是最難以同時實現的,~兩個現有陣營(HBM優先的 NVIDIA 附近和 SRAM優先的 Cerebras 附近)。無論如何,MatX 團隊的表現非常優秀,因此我很高興能有小小的參與,並祝賀你們的融資成功!

Reiner Pope2026年2月25日
我們正在打造一款 LLM 晶片,提供比任何其他晶片更高的吞吐量,同時實現最低的延遲。我們稱之為 MatX One。
MatX One 晶片基於可分割的脈衝陣列,擁有大型脈衝陣列所著名的能量和面積效率,同時在具有靈活形狀的小型矩陣上也能實現高利用率。該晶片結合了 SRAM 首先設計的低延遲和 HBM 的長上下文支持。這些元素,加上對數字的全新看法,提供了比任何已宣布的系統更高的 LLM 吞吐量,同時匹配 SRAM 首先設計的延遲。更高的吞吐量和更低的延遲為您的訂閱費用提供了更智能、更快速的模型。
我們已經籌集了 5 億美元的 B 輪融資,以完成開發並迅速擴大生產,預計在一年內完成晶片流片。這輪融資由 Jane Street 領投,這是一家最具科技敏感度的華爾街公司,還有 Situational Awareness LP,其創始人 @leopoldasch 撰寫了關於 AGI 的權威備忘錄。參與者包括 @sparkcapital、@danielgross 和 @natfriedman 的基金、@patrickc 和 @collision、@TriatomicCap、@HarpoonVentures、@karpathy、@dwarkesh_sp 等。我們也歡迎來自供應鏈的投資者,包括 Marvell 和 Alchip。
@MikeGunter_ 和我創立 MatX,因為我們認為最適合 LLM 的晶片應該從基本原則出發,深入了解 LLM 的需求及其演變。我們願意放棄小型模型性能、低容量工作負載,甚至編程的便利性,以實現這樣的晶片。
我們現在是一支 100 人的團隊,成員們思考的範疇從學習率計劃、Swing Modulo Scheduling、保護/圓形/粘性位元到盲配連接,所有人都在同一棟大樓內。如果您想幫助我們架構、設計和部署多代晶片的大規模生產,考慮加入我們。
449
熱門
排行
收藏
