Я спалив 84 мільйони токенів 28 лютого. Дослідження компаній, складання меморандумів, бігові агенти. Вона запускає Kimi K2.5, безсерверну модель через API. За курсами Claude або OpenAI — приблизно $9 за мільйон токенів разом — еквівалентне використання коштувало б $756 за один день роботи. Мої пікові дні досягали 80 мільйонів токенів. Мої середні дні — 20 мільйонів. Хмарні висновки при ціноутворенні на передових моделях швидко накопичуються.
Цього тижня Alibaba випустила Qwen3.5-9B — модель з відкритим кодом, яка відповідає Claude Opus 4.1 грудня 2025 року. Він працює локально на 12 ГБ оперативної пам'яті. Три місяці тому для цієї можливості потрібен був дата-центр. Тепер потрібна розетка.
Ноутбук за $5,000 — MacBook Pro з достатньою пам'яттю для локального запуску Qwen — окупає себе після 556 мільйонів токенів. За моїм темпом використання це приблизно місяць. При 20 мільйонах токенів на день це чотири тижні. Після погашення гранична вартість знижується на електроенергію. Це не компроміс у сфері розвідки. Логіка, кодування, агентні робочі процеси, обробка документів, виконання інструкцій: модель 9B відповідає межам грудня у всіх сферах.
@twlvone Більше обчислень не допомагає, окрім певного рівня точності виклику інструментів
75