Environments Hub a été lancé il y a une semaine, et nous avons déjà collecté plus de 100 environnements. Allant de la preuve de théorèmes, la génération de noyaux, le contrôle qualité scientifique, l'utilisation de navigateurs, et plus encore. Chaque environnement contribué déplace l'équilibre des pouvoirs vers l'IA open-source. Quelques points forts :

Pour 10 $/heure, vous pouvez auto-héberger Kimi et générer des histoires (ou autre chose) à 440 tokens/sec sur 8 GPU H200 avec Prime Intellect. La clé est de ne pas s'inquiéter de la latence. Par exemple, si vous voulez 26 400 tokens à partir de 24 questions, vous pouvez auto-héberger Kimi et obtenir cela en environ une minute (une fois que tout est opérationnel 😉). Cela revient à environ 6 $ par million de tokens de sortie. Plutôt cool ! Cependant, sur Groq, Kimi K2-0905 (256k) coûte 3,00 $ par million de tokens de sortie. Donc, je ne peux même pas auto-héberger moins cher que Groq—du moins pas avec la charge et les paramètres que j'ai essayés. Mais c'est quand même environ 2,5 fois moins cher que Sonnet 4.0, auquel ce modèle (selon les benchmarks) est à peu près équivalent. Je pense que l'auto-hébergement d'un modèle aussi puissant est incroyablement habilitant. Soit Groq subventionne fortement les tokens Kimi, soit ils ont vraiment une technologie incroyable. 🙂 ps : pour des questions similaires courtes, répondant avec seulement quelques tokens, nous pouvons obtenir environ 573 tokens/seconde de sortie, ce qui mène à environ 150 000 prompts par heure. Donc 150K classifications simples par heure pour Kimi K2 sur 8xH200.

Environments Hub a été lancé il y a une semaine, et nous avons déjà collecté plus de 100 environnements. Allant de la preuve de théorèmes, la génération de noyaux, le contrôle qualité scientifique, l'utilisation de navigateurs, et plus encore. Chaque environnement contribué déplace l'équilibre des pouvoirs vers l'IA open-source. Quelques points forts :