Hub Środowisk został uruchomiony tydzień temu, a już zebraliśmy ponad 100 środowisk. Od dowodzenia twierdzeń, generowania rdzeni, kontroli jakości w nauce, użycia przeglądarki i więcej. Każde wniesione środowisko przesuwa równowagę sił w kierunku otwartego AI. Niektóre z najważniejszych punktów:

Za 10 USD/godzinę możesz samodzielnie hostować Kimi i generować historie (lub cokolwiek innego) z prędkością 440 tokenów/sek na 8 GPU H200 z Prime Intellect. Kluczem jest, aby nie martwić się o opóźnienia. Na przykład, jeśli chcesz uzyskać 26 400 tokenów z 24 pytań, możesz samodzielnie hostować Kimi i uzyskać to w około minutę (gdy wszystko będzie działać 😉). To wychodzi około 6 USD za milion tokenów wyjściowych. Całkiem fajnie! Na Groq jednak Kimi K2-0905 (256k) kosztuje 3,00 USD za milion tokenów wyjściowych. Więc nie mogę nawet samodzielnie hostować taniej niż Groq — przynajmniej nie przy obciążeniu i ustawieniach, które próbowałem. Ale to wciąż około 2,5× taniej niż Sonnet 4.0, który według benchmarków jest mniej więcej równoważny temu modelowi. Myślę, że samodzielne hostowanie tak potężnego modelu jest niesamowicie wzmacniające. Albo Groq mocno subsydiuje tokeny Kimi, albo naprawdę mają niesamowitą technologię. 🙂 ps: dla krótkich podobnych pytań, odpowiadających tylko kilkoma tokenami, możemy uzyskać około 573 tokenów/sekundę, co prowadzi do około 150 000 zapytań na godzinę. Więc 150K prostych klasyfikacji na godzinę dla Kimi K2 na 8xH200.

Hub Środowisk został uruchomiony tydzień temu, a już zebraliśmy ponad 100 środowisk. Od dowodzenia twierdzeń, generowania rdzeni, kontroli jakości w nauce, użycia przeglądarki i więcej. Każde wniesione środowisko przesuwa równowagę sił w kierunku otwartego AI. Niektóre z najważniejszych punktów: