Trinity 的使用情況,特別是在 openrouter 上免費使用的時候,真是不可思議。 我們實際上在推理集群上處理的吞吐量比我們預估的多了 3 倍。但隨著使用量不斷增長,我們的 TPS 卻大幅下降。 我們將一些訓練計算轉移到推理上(這並不像我想的那麼簡單),我們應該能夠恢復到全速運行。 給我們你所有的資源。