Die Environments Hub wurde vor einer Woche gestartet, und wir haben bereits über 100 Umgebungen crowdsourced. Diese reichen von Theorembeweisen, Kernel-Generierung, wissenschaftlicher Qualitätssicherung, Browser-Nutzung und mehr. Jede beigetragene Umgebung verschiebt das Machtverhältnis zugunsten von Open-Source-AI. Einige Highlights:

Für 10 $/Stunde kannst du Kimi selbst hosten und Geschichten (oder alles andere) mit 440 Tokens/Sekunde auf 8 H200 GPUs mit Prime Intellect generieren. Der Schlüssel ist, sich keine Sorgen um die Latenz zu machen. Wenn du zum Beispiel 26.400 Tokens aus 24 Fragen möchtest, kannst du Kimi selbst hosten und das in etwa einer Minute erhalten (sobald alles läuft 😉). Das ergibt etwa 6 $ pro Million ausgegebene Tokens. Ziemlich cool! Auf Groq kostet Kimi K2-0905 (256k) jedoch 3,00 $ pro Million ausgegebene Tokens. Ich kann also nicht einmal günstiger selbst hosten als Groq – zumindest nicht mit der Last und den Einstellungen, die ich ausprobiert habe. Aber es ist immer noch etwa 2,5× günstiger als Sonnet 4.0, mit dem dieses Modell (laut Benchmarks) ungefähr vergleichbar ist. Ich denke, dass das Selbst-Hosting eines so leistungsstarken Modells unglaublich ermächtigend ist. Entweder subventioniert Groq die Kimi-Tokens stark, oder sie haben wirklich erstaunliche Technologie. 🙂 PS: Für kurze ähnliche Fragen, die nur mit wenigen Tokens beantwortet werden, können wir etwa 573 Tokens/Sekunde ausgeben, was zu etwa 150.000 Aufforderungen pro Stunde führt. Also 150K einfache Klassifizierungen pro Stunde für Kimi K2 auf 8xH200.

Die Environments Hub wurde vor einer Woche gestartet, und wir haben bereits über 100 Umgebungen crowdsourced. Diese reichen von Theorembeweisen, Kernel-Generierung, wissenschaftlicher Qualitätssicherung, Browser-Nutzung und mehr. Jede beigetragene Umgebung verschiebt das Machtverhältnis zugunsten von Open-Source-AI. Einige Highlights: