Ninguém está falando @apple manter os mesmos preços para o MacBook Pro de 128GB. Não houve aumento de preço em resposta ao aumento dos preços da memória. Todo mundo fala sobre o aumento no cálculo, acelerando o preenchimento em 4 vezes. Isso é legal, mas na prática não é tão grave assim. Por quê? Porque no seu próprio computador, a maioria dos apps/ferramentas que usam LLMs vai ter altas taxas de acerto no cache kv – isso significa que, como usuário, você só experimenta preenchimento lento uma vez. O cache KV pode ser mantido no disco e carregado a 6GB/s. A maior parte do tempo em inferência de LLM é gasta na decodificação, que é limitada à largura de banda da memória. Ainda é ótimo para geração de imagens/vídeos, inferência de LLM em lote alto e ajuste fino, que são limitados por computação. Devemos ver grandes acelerações lá. A estratégia de IA da Apple são LLMs no dispositivo e, aqui, a memória é o nome do jogo, não o FLOPS. Espere o mesmo para o M5 Pro/Max Mac Mini e o M5 Ultra Mac Studio. Isso significa 512GB M5 Ultra a 10k! @tim_cook é um gênio da cadeia de suprimentos.