Environments Hub був запущений тиждень тому, і ми вже зібрали краудсорсинг 100+ середовищ. Починаючи від доведення теорем, генерації ядра, наукового qa, використання браузера тощо. Кожне внескове середовище змінює баланс сил у бік штучного інтелекту з відкритим вихідним кодом. Деякі основні моменти:

За 10 доларів США на годину ви можете самостійно розмістити Kimi та генерувати історії (або будь-що інше) зі швидкістю 440 токенів за секунду на 8 графічних процесорах H200 з Prime Intellect. Головне – не турбуватися про затримку. Наприклад, якщо ви хочете отримати 26 400 токенів з 24 запитань, ви можете самостійно розмістити Kimi і отримати їх приблизно за хвилину (як тільки все буде запущено 😉). Це виходить приблизно 6 доларів за мільйон вихідних токенів. Дуже круто! Однак на Groq Kimi K2-0905 (256 тис.) коштує 3,00 долара за мільйон вихідних токенів. Таким чином, я не можу оформити хостинг дешевше, ніж Groq – принаймні не з тим навантаженням та налаштуваннями, які я намагався. Але це все одно приблизно на 2,5× дешевше, ніж Sonnet 4.0, якому ця модель (згідно з бенчмарками) приблизно еквівалентна. Я думаю, що самостійний хостинг такої потужної моделі неймовірно розширює можливості. Або Groq сильно субсидує токени Kmi, або вони дійсно мають дивовижні технології. 🙂 PS: На короткі подібні питання, на які відповідають лише кілька токенів, ми можемо отримати близько 573 токенів за секунду, що призводить до приблизно 150 000 підказок на годину. Отже, 150K простих класифікацій на годину для kimi k2 на 8xh200

Environments Hub був запущений тиждень тому, і ми вже зібрали краудсорсинг 100+ середовищ. Починаючи від доведення теорем, генерації ядра, наукового qa, використання браузера тощо. Кожне внескове середовище змінює баланс сил у бік штучного інтелекту з відкритим вихідним кодом. Деякі основні моменти: