> 385毫秒的平均工具選擇。 > 13個MCP伺服器上的67個工具。 > 14.5GB的記憶體佔用。 > 零網路呼叫。 LocalCowork是一個在MacBook上運行的AI代理。開源。 🧵
建立一個本地的 AI 代理聽起來很棒,直到你嘗試整天使用它。困難的部分不是讓模型理解你,而是讓它選擇正確的工具並足夠快速地執行,以便體驗感覺互動。 因此,我們在筆記型電腦上對 LFM2-24B-A2B 進行了測試,建立了一個名為 LocalCowork 的開源桌面代理。
一切都在本地運行: > 模型 > 工具 > 數據 沒有雲端。沒有 API 金鑰。沒有任何東西離開這台機器。
我們在一個現實的環境中評估了這個模型: > 67 個工具 > 13 台 MCP 伺服器 任務包括安全掃描、文件處理、檔案系統操作和系統工具。所有這些都在一台擁有 36GB 記憶體的 Apple M4 Max 筆記型電腦上運行。 在這個配置下,LFM2-24B-A2B 每個工具選擇的平均響應時間約為 ~385 毫秒,同時佔用約 14.5 GB 的記憶體。 這意味著: > 沒有外部 API 呼叫 > 沒有供應商子處理器 > 沒有數據離開設備
187