Nuestros métodos de archivo de @solana son hasta 20 veces más rápidos que cualquier otra cosa en el mercado. Hicimos de todo el stack un código abierto. Marca esto como favorito 🔖 Las consultas de archivo en Solana son notoriamente lentas e ineficaces: bloques perdidos, respuestas lentas, datos perdidos. Así es como lo solucionamos 🧵

El stack de archivo estándar de Solana (Bigtable + nodos RPC de validador) es fácil de implementar pero difícil de escalar. Es intensivo en CPU, consume mucha memoria y tiene problemas con solicitudes de lotes grandes. Los datos históricos son donde la latencia impacta más.

Intentamos optimizar Bigtable. Agregamos tablas personalizadas, ajustamos consultas, lo llevamos al límite. Pero cada cambio requería reinicios completos de nodos. 30 minutos a varias horas cada vez. Así que lo descartamos y reconstruimos todo: ingesta, almacenamiento y servidor RPC.

La nueva pila: → ArchivalRPC: se inicia en segundos, no en horas. Escala hasta 200K RPS. → Ingestor personalizado: ingestión selectiva para reducir costos y puntos de fallo. → HBase sobre Bigtable: autoalojado, colocalizado, latencia casi nula.

La velocidad no significa nada si los datos son incorrectos. Construimos una ingesta verificada triple: cada registro se escribe dos veces, se valida programáticamente y se escanea continuamente. Si se detecta una brecha, las tuberías de auto-reparación la re-ingestan y reparan automáticamente.

El resultado, por región: • 100,000 RPS para getTransaction • 50,000 RPS para getSignaturesForAddress • 2,000 RPS para getBlock Hasta 20 veces más rápido que cualquier otra solución en el mercado.