Onze @solana archiveringsmethoden zijn tot 20x sneller dan wat dan ook op de markt. We hebben de hele stack open-source gemaakt. Bookmark dit 🔖 Archiveringsqueries op Solana zijn berucht traag en onbetrouwbaar: ontbrekende blokken, vertraagde reacties, verloren gegevens. Hier is hoe we het hebben opgelost 🧵

De standaard Solana archiveringsstack (Bigtable + validator RPC-nodes) is eenvoudig te implementeren, maar moeilijk op te schalen. Het is CPU-intensief, geheugenhongerig en heeft moeite met grote batchverzoeken. Historische gegevens zijn waar de latentie het hardst toeslaat.

We hebben geprobeerd Bigtable te optimaliseren. We hebben aangepaste tabellen toegevoegd, queries afgestemd en het zo ver mogelijk gepusht. Maar elke wijziging vereiste volledige herstarts van de knooppunten. 30 minuten tot enkele uren elke keer. Dus hebben we het weggegooid en alles opnieuw opgebouwd: inname, opslag en RPC-server.

De nieuwe stack: → ArchivalRPC: draait op in seconden, niet in uren. Schaal tot 200K RPS. → Aangepaste ingestor: selectieve opname om kosten en faalpunten te verlagen. → HBase boven Bigtable: zelf-gehost, co-locatie, bijna nul latentie.

Snelheid betekent niets als de gegevens verkeerd zijn. We hebben drievoudig geverifieerde opname gebouwd: elk record wordt twee keer geschreven, programmatig gevalideerd en continu gescand. Als er een gat wordt gedetecteerd, herstelt de zelfherstellende pijplijn automatisch en heropneemt het.

Het resultaat, per regio: • 100.000 RPS voor getTransaction • 50.000 RPS voor getSignaturesForAddress • 2.000 RPS voor getBlock Tot 20x sneller dan welke andere oplossing op de markt.