Environments Hub is een week geleden gelanceerd, en we hebben al meer dan 100 omgevingen gecrowdsourced. Variërend van stellingbewijzen, kernelgeneratie, wetenschappelijke kwaliteitscontrole, browsergebruik en meer. Elke bijgedragen omgeving verschuift de machtsbalans naar open-source AI. Enkele hoogtepunten:

Voor $10/uur kun je Kimi zelf hosten en verhalen (of iets anders) genereren met 440 tokens/sec op 8 H200 GPU's met Prime Intellect. De sleutel is om je geen zorgen te maken over latentie. Als je bijvoorbeeld 26.400 tokens wilt uit 24 vragen, kun je Kimi zelf hosten en dat in ongeveer een minuut krijgen (zodra alles draait 😉). Dat komt neer op ongeveer $6 per miljoen output tokens. Best cool! Op Groq kost Kimi K2-0905 (256k) echter $3,00 per miljoen output tokens. Dus ik kan Kimi niet zelfs goedkoper hosten dan Groq—tenzij met de belasting en instellingen die ik heb geprobeerd. Maar het is nog steeds ongeveer 2,5× goedkoper dan Sonnet 4.0, waarmee dit model (volgens benchmarks) ruwweg gelijkwaardig is. Ik denk dat het zelf hosten van zo'n krachtig model ongelooflijk empowerend is. Of Groq subsidieert Kimi-tokens zwaar, of ze hebben echt geweldige technologie. 🙂 ps: voor korte vergelijkbare vragen, beantwoord door slechts een paar tokens, kunnen we ongeveer 573 token/seconde output krijgen, wat leidt tot ongeveer 150.000 prompts per uur. Dus 150K eenvoudige classificaties per uur voor Kimi K2 op 8xH200.

Environments Hub is een week geleden gelanceerd, en we hebben al meer dan 100 omgevingen gecrowdsourced. Variërend van stellingbewijzen, kernelgeneratie, wetenschappelijke kwaliteitscontrole, browsergebruik en meer. Elke bijgedragen omgeving verschuift de machtsbalans naar open-source AI. Enkele hoogtepunten: