Các phương pháp lưu trữ dữ liệu @solana của chúng tôi nhanh hơn gấp 20 lần so với bất kỳ thứ gì khác trên thị trường. Chúng tôi đã mã nguồn mở toàn bộ hệ thống. Đánh dấu cái này 🔖 Các truy vấn lưu trữ trên Solana nổi tiếng là chậm và không đáng tin cậy: thiếu khối, phản hồi chậm, dữ liệu bị mất. Đây là cách chúng tôi đã khắc phục điều đó 🧵

Bộ lưu trữ tiêu chuẩn của Solana (Bigtable + các nút RPC của validator) dễ triển khai nhưng khó mở rộng. Nó tiêu tốn CPU, cần nhiều bộ nhớ và gặp khó khăn với các yêu cầu theo lô lớn. Dữ liệu lịch sử là nơi độ trễ ảnh hưởng nặng nề nhất.

Chúng tôi đã cố gắng tối ưu hóa Bigtable. Thêm các bảng tùy chỉnh, điều chỉnh các truy vấn, đẩy nó đến giới hạn của nó. Nhưng mỗi thay đổi đều yêu cầu khởi động lại toàn bộ nút. 30 phút đến vài giờ mỗi lần. Vì vậy, chúng tôi đã bỏ nó và xây dựng lại mọi thứ: tiếp nhận, lưu trữ và máy chủ RPC.

Cấu trúc mới: → ArchivalRPC: khởi động trong vài giây, không phải vài giờ. Mở rộng lên 200K RPS. → Ingestor tùy chỉnh: thu thập có chọn lọc để giảm chi phí và điểm thất bại. → HBase trên Bigtable: tự lưu trữ, cùng vị trí, độ trễ gần như bằng không.

Tốc độ không có ý nghĩa gì nếu dữ liệu sai. Chúng tôi đã xây dựng quy trình thu thập dữ liệu được xác minh ba lần: mỗi bản ghi được ghi lại hai lần, được xác thực bằng chương trình và liên tục được quét. Nếu phát hiện ra khoảng trống, các đường ống tự phục hồi sẽ tự động thu thập lại và sửa chữa.

Kết quả, theo khu vực: • 100.000 RPS cho getTransaction • 50.000 RPS cho getSignaturesForAddress • 2.000 RPS cho getBlock Nhanh hơn tới 20 lần so với bất kỳ giải pháp nào khác trên thị trường.