Nadie está hablando de que @apple mantenga los precios iguales para el MacBook Pro de 128GB. No ha habido un aumento de precio en respuesta al aumento de los precios de la memoria. Todo el mundo está hablando del aumento en el rendimiento, acelerando el prellenado por 4x. Esto es genial, pero prácticamente no es tan importante. ¿Por qué? Porque en tu propia computadora, la mayoría de las aplicaciones/herramientas que utilizan LLMs van a tener altas tasas de aciertos en la caché kv; eso significa que como usuario solo experimentarás un prellenado lento una vez. La caché kv puede persistirse en el disco y cargarse a 6GB/s. La mayor parte del tiempo en la inferencia de LLM se gasta en decodificación, que está limitada por el ancho de banda de la memoria. Sigue siendo excelente para la generación de imágenes/videos, la inferencia de LLM en lotes grandes y el ajuste fino, que son limitados por el rendimiento computacional. Deberíamos ver enormes aumentos de velocidad allí. La estrategia de IA de Apple se basa en LLMs en el dispositivo y aquí, la memoria es lo más importante, no los FLOPS. Esperen lo mismo para el Mac Mini M5 Pro/Max y el Mac Studio M5 Ultra. ¡Eso significa 512GB M5 Ultra a 10k! @tim_cook es un genio de la cadena de suministro.