一個擁有240億參數的模型剛在一台筆記型電腦上運行，並在不到半秒的時間內選擇了正確的工具。 真正的故事是，調用工具的代理終於變得足夠快，讓人感覺像是軟體。 Liquid 使用混合架構構建了 LFM2-24B-A2B，該架構以 1:3 的比例混合了卷積塊和分組查詢注意力。 每個標記僅激活 23 億個參數，即使完整模型擁有 240 億個參數。 這種稀疏激活模式是它能夠適應 14.5 GB 的內存並在 M4 Max 上以 385 毫秒的速度調度工具的原因。 該架構是通過硬體迴路搜索設計的，這意味著他們通過直接在將要運行的芯片上測試來優化模型結構。沒有雲端翻譯層。 沒有 API 來回。模型、工具和您的數據都保留在機器上。 這解鎖了三件以前不切實際的事情： 1. 受監管行業可以在員工的筆記型電腦上運行代理，而不會讓數據離開設備。 2. 開發人員可以原型化多工具工作流程，而無需管理 API 密鑰或速率限制。 3. 安全團隊可以獲得完整的審計記錄，而不需要供應商的子處理器介入。 該模型在 67 個工具跨越 13 個 MCP 伺服器的單步工具選擇上達到了 80% 的準確率。 如果這種性能在規模上保持不變，則需要更新兩個假設。 首先，設備上的代理不再是電池壽命的權衡；它們是一種合規功能。 其次，代理工作流程中的瓶頸正在從模型能力轉向工具生態系統的成熟度。

來自 @liquidai @ramin_m_h 的驚人作品