为什么NanoGPT速通挑战到现在还没有完全由AI自动化研究？

我们正在构建一款 LLM 芯片，能够提供比其他任何芯片更高的吞吐量，同时实现最低的延迟。我们称之为 MatX One。 MatX One 芯片基于可拆分的脉动阵列，具有大型脉动阵列所著名的能量和面积效率，同时在具有灵活形状的小型矩阵上也能实现高利用率。该芯片结合了 SRAM 优先设计的低延迟和 HBM 的长上下文支持。这些元素，加上对数值的新颖看法，使得在 LLM 上的吞吐量超过任何已宣布的系统，同时与 SRAM 优先设计的延迟相匹配。更高的吞吐量和更低的延迟为您的订阅提供了更智能、更快速的模型。 我们已经筹集了 5 亿美元的 B 轮融资，以完成开发并快速扩大生产，预计在一年内完成流片。此次融资由 Jane Street 领投，这是一家最具技术敏感度的华尔街公司，以及 Situational Awareness LP，其创始人 @leopoldasch 撰写了关于 AGI 的权威备忘录。参与者包括 @sparkcapital、@danielgross 和 @natfriedman 的基金、@patrickc 和 @collision、@TriatomicCap、@HarpoonVentures、@karpathy、@dwarkesh_sp 等。我们还欢迎来自供应链的投资者，包括 Marvell 和 Alchip。 @MikeGunter_ 和我创立 MatX 是因为我们认为，最适合 LLM 的芯片应该从第一原则出发，深入理解 LLM 的需求及其演变方式。我们愿意放弃小模型性能、低容量工作负载，甚至编程的简易性，以实现这样的芯片。 我们现在是一支 100 人的团队，团队成员思考的内容涵盖学习率调度、Swing Modulo Scheduling、保护/舍入/粘性位、盲配连接——所有这些都在同一栋建筑内。如果您想帮助我们架构、设计和部署多代芯片的大规模生产，欢迎考虑加入我们。