热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
M5 Max 是一款价值 3,500 美元的玩具
对于本地 AI 来说,唯一重要的数字是:每秒令牌数
对于 LLM 推理,真正重要的因素(按顺序):
内存带宽 → 决定每秒令牌数
显存/统一内存 → 决定模型大小
计算能力 → 对推理几乎没有影响
在 70B 上每秒 25 个令牌听起来很令人印象深刻,直到你意识到自主 AI 需要 100+ 才不会感觉崩溃
M5 是一款很棒的笔记本电脑,但不适合做服务器

热门
排行
收藏
