我在2月28日烧掉了8400万个代币。研究公司,起草备忘录,运行代理。 这就是运行Kimi K2.5,通过API的无服务器模型。按照Claude或OpenAI的费率——大约每百万代币9美元——相当的使用成本将是756美元,适用于一天的工作。我的高峰日达到8000万个代币。我的平均日运行2000万个代币。云推理在前沿模型定价下迅速累积。
本周,阿里巴巴发布了 Qwen3.5-9B,这是一个开源模型,与 2025 年 12 月的 Claude Opus 4.1 相匹配。它在 12GB 的 RAM 上本地运行。三个月前,这种能力需要一个数据中心。现在只需要一个电源插座。
一台价值5000美元的笔记本电脑——一台足够运行Qwen的MacBook Pro——在556百万个代币后就能收回成本。按照我的使用率,这大约需要一个月。以每天2000万个代币计算,这需要四周。 收回成本后,边际成本降至电费。 这并不是智力上的妥协。推理、编码、代理工作流程、文档处理、遵循指令:9B模型在各方面都与12月的前沿相匹配。
@twlvone 更多的计算在某种程度上并不会提高工具调用的准确性。
53