Environments Hub đã ra mắt cách đây một tuần, và chúng tôi đã quyên góp được hơn 100 môi trường. Từ việc chứng minh định lý, tạo kernel, kiểm tra khoa học, sử dụng trình duyệt, và nhiều hơn nữa. Mỗi môi trường được đóng góp đều làm thay đổi cán cân quyền lực về phía AI mã nguồn mở. Một số điểm nổi bật:

Với $10/giờ, bạn có thể tự lưu trữ Kimi và tạo ra các câu chuyện (hoặc bất cứ điều gì khác) với tốc độ 440 token/giây trên 8 GPU H200 với Prime Intellect. Điều quan trọng là không phải lo lắng về độ trễ. Ví dụ, nếu bạn muốn 26.400 token từ 24 câu hỏi, bạn có thể tự lưu trữ Kimi và nhận được điều đó trong khoảng một phút (khi mọi thứ đã sẵn sàng 😉). Điều đó tương đương với khoảng $6 cho mỗi triệu token đầu ra. Thật tuyệt vời! Tuy nhiên, trên Groq, Kimi K2-0905 (256k) có giá $3.00 cho mỗi triệu token đầu ra. Vì vậy, tôi không thể tự lưu trữ rẻ hơn Groq—ít nhất là với tải và cài đặt mà tôi đã thử. Nhưng nó vẫn rẻ hơn khoảng 2.5 lần so với Sonnet 4.0, mà mô hình này (theo các bài kiểm tra) tương đương với nó. Tôi nghĩ việc tự lưu trữ một mô hình mạnh mẽ như vậy là vô cùng quyền lực. Hoặc Groq đang trợ giá mạnh cho token Kimi, hoặc họ thực sự có công nghệ tuyệt vời. 🙂 ps: đối với các câu hỏi ngắn tương tự, được trả lời chỉ bằng một vài token, chúng ta có thể đạt khoảng 573 token/giây đầu ra dẫn đến khoảng 150.000 yêu cầu mỗi giờ. Vì vậy, 150K phân loại đơn giản mỗi giờ cho Kimi K2 trên 8xH200.

Environments Hub đã ra mắt cách đây một tuần, và chúng tôi đã quyên góp được hơn 100 môi trường. Từ việc chứng minh định lý, tạo kernel, kiểm tra khoa học, sử dụng trình duyệt, và nhiều hơn nữa. Mỗi môi trường được đóng góp đều làm thay đổi cán cân quyền lực về phía AI mã nguồn mở. Một số điểm nổi bật: