¡Encantado de compartir KernelFactory! Un arnés que construí para resolver la prueba de rendimiento que compartí @AnthropicAI hace unas semanas
En resumen, el reto era optimizar un kernel personalizado que escribieron. Puedes llegar bastante lejos hablando con Claude Code sobre ello. En vez de hacer eso, quería construir un arnés para ver hasta dónde podías llegar sin que hubiera ningún humano en el bucle.
Es un reto divertido. Está bien estructurado y tiene un referente claro. Y necesitas aprender un nuevo conjunto de herramientas si quieres salir del circuito. Acabé construyendo un arnés evolutivo que intentaba equilibrar la exploración de un conjunto diverso de ideas y el uso de las existentes.
Al final, el harness entregó un kernel de 1297 ciclos, que supera los benchmarks iniciales establecidos por el equipo en su repositorio git. Lo paré en ese momento de forma algo arbitraria, pero podría ofrecer mejor rendimiento con más cálculo. También encontró algunos exploits divertidos que bajaban aún más, como eliminar la función hash del kernel de referencia para no tener que calcularla.
Hay más detalles en la entrada del blog por si tienes curiosidad. En general, creo que lo que más me lleva es lo mucho que se puede lograr con un buen bucle de retroalimentación y benchmark.
Tengo pensado seguir trasteando con arneses, así que no dudes en contactarme si tienes un problema interesante con un circuito de retroalimentación potente. CC: @trishume, gracias por abrir el código este reto :)
334