去了东京的一个氛围编码聚会。某种程度上比加密货币的比例还要糟糕。 没想到这还有可能。

M5 Max 是一款价值 3,500 美元的玩具 对于本地 AI 来说，唯一重要的数字是：每秒令牌数 对于 LLM 推理，真正重要的因素（按顺序）： 内存带宽 → 决定每秒令牌数 显存/统一内存 → 决定模型大小 计算能力 → 对推理几乎没有影响 在 70B 上每秒 25 个令牌听起来很令人印象深刻，直到你意识到自主 AI 需要 100+ 才不会感觉崩溃 M5 是一款很棒的笔记本电脑，但不适合做服务器

当你达到代币限制但还有另一个问题要问Claude时的感觉