没有人谈论@apple保持128GB MacBook Pro价格不变。面对飙升的内存价格，价格没有上涨。 每个人都在谈论计算能力的提升，使预填充速度提高了4倍。这很酷，但实际上并没有那么重要。为什么？因为在你自己的电脑上，大多数使用LLM的应用/工具将会获得高的kv缓存命中率——这意味着作为用户，你只会体验到一次缓慢的预填充。kv缓存可以持久化到磁盘，并以6GB/s的速度加载。 在LLM推理中，大部分时间花费在解码上，这受限于内存带宽。 对于图像/视频生成、高批量LLM推理和微调来说，这仍然很棒，这些都是计算密集型的。我们应该会看到巨大的速度提升。 苹果的AI战略是设备上的LLM，在这里，内存才是关键，而不是FLOPS。 对M5 Pro/Max Mac Mini和M5 Ultra Mac Studio也要有同样的期待。这意味着512GB M5 Ultra的价格为10k！ @tim_cook是供应链天才。