Penggunaan dari Trinity, terutama saat gratis di openrouter, sangat luar biasa. Kami sebenarnya telah berhasil menangani throughput 3x lebih banyak pada kluster inferensi kami daripada yang kami perkirakan. Tetapi TPS kami telah merosot karena penggunaan terus bertambah. Kami memindahkan beberapa komputasi pelatihan ke inferensi (tidak sesederhana yang saya kira) dan kami harus kembali ke kecepatan penuh. Beri kami semua yang Anda miliki.