Unsere @solana Archivierungsmethoden sind bis zu 20x schneller als alles andere auf dem Markt. Wir haben den gesamten Stack Open Source gemacht. Lesezeichen setzen 🔖 Archivabfragen auf Solana sind notorisch langsam und unzuverlässig: fehlende Blöcke, verzögerte Antworten, verlorene Daten. So haben wir es behoben 🧵

Der Standard-Solana-Archivstapel (Bigtable + Validator-RPC-Knoten) ist einfach bereitzustellen, aber schwer zu skalieren. Er ist CPU-intensiv, speicherhungrig und hat Schwierigkeiten mit großen Batch-Anfragen. Historische Daten sind der Bereich, in dem die Latenz am stärksten zuschlägt.

Wir haben versucht, Bigtable zu optimieren. Wir haben benutzerdefinierte Tabellen hinzugefügt, Abfragen optimiert und es so weit wie möglich getrieben. Aber jede Änderung erforderte vollständige Neustarts der Knoten. 30 Minuten bis mehrere Stunden jedes Mal. Also haben wir alles verworfen und neu aufgebaut: Ingestion, Speicherung und RPC-Server.

Der neue Stack: → ArchivalRPC: startet in Sekunden, nicht in Stunden. Skaliert auf 200K RPS. → Benutzerdefinierter Ingestor: selektive Aufnahme zur Senkung von Kosten und Ausfallpunkten. → HBase über Bigtable: selbst gehostet, co-lokal, nahezu null Latenz.

Geschwindigkeit bedeutet nichts, wenn die Daten falsch sind. Wir haben eine dreifach verifizierte Datenaufnahme entwickelt: Jeder Datensatz wird zweimal geschrieben, programmgesteuert validiert und kontinuierlich gescannt. Wenn eine Lücke erkannt wird, nehmen sich selbstheilende Pipelines automatisch wieder auf und reparieren sie.

Das Ergebnis, nach Region: • 100.000 RPS für getTransaction • 50.000 RPS für getSignaturesForAddress • 2.000 RPS für getBlock Bis zu 20x schneller als jede andere Lösung auf dem Markt.