Технічний контекст
Я регулярно бачу ту саму картину: зверху кажуть «витрачайте токени обережно», а знизу люди швидко вчаться грати в цю механіку. У нещодавньому обговоренні якраз це й випливло: в одних корпоративний ліміт уже згорів, в інших до кінця місяця залишається більше половини, і вони перемикаються на Claude Opus з максимальним зусиллям, щоб бюджет не пропав.
Мене тут чіпляє не сам анекдот, а те, що це дуже приземлена проблема впровадження ШІ. Якщо команда вимірює корисність через місячний ліміт, а не через вартість завершеного завдання, система майже гарантовано почне демонструвати дивну поведінку.
Фактично токени давно стали внутрішньою валютою. Але в більшості компаній облік усе ще примітивний: загальний пул, грубі ліміти, мало прозорості щодо вводу/виводу, нуль нормальної маршрутизації між моделями та майже ніякого кешування. Потім усі дивуються, чому дорога модель йде на чернетки, а дешева не вбудована туди, де її вистачило б з головою.
Я таке розбирав не раз: без нормальної архітектури ШІ витрати стрибають не через «жадібних розробників», а через погану систему стимулів. Якщо не видно ціну за сценарієм, не налаштовані сповіщення і немає каскаду моделей, люди починають оптимізувати не продукт, а ліміт.
Вплив на бізнес та автоматизацію
Перший наслідок простий: фінанси отримують шум замість реальної картини попиту. Кінець місяця виглядає як сплеск споживання, хоча це не зростання користі, а спроба не втратити майбутній бюджет.
Другий наслідок болючіший. Команди перестають обирати модель під завдання і починають обирати під внутрішню політику. У результаті автоматизація за допомогою ШІ дорожчає, а якість процесів коливається без будь-якого зв'язку з реальним ROI.
Виграють тут хіба що ті, у кого вже є маршрутизація моделей, ліміти за варіантами використання, RAG, кеш і чітка модель списання коштів по підрозділах. Програють компанії, які намагалися «контролювати ШІ» однією табличкою з місячним лімітом.
Я б лікував це не заборонами, а інженерно: рахувати вартість за робочим процесом, розділяти експериментальний і виробничий бюджети, встановлювати політику для дорогих моделей і давати командам зрозумілий зворотний зв'язок. Ми в Nahornyi AI Lab якраз вирішуємо такі перекоси через розробку рішень на основі ШІ: збираємо архітектуру, де бізнес платить за корисний результат, а не за токсичну гру в спалювання токенів. Якщо відчуваєте, що ваша інтеграція ШІ вже перетворилася на бюджетний цирк, можна спокійно розібрати ваші сценарії та перезібрати систему без цієї щомісячної драми.