Локальний інференс: 90 Вт проти дорогих GPU

Локальний запуск заощаджує не там, де здається

Я б не зводив вибір лише до ціни токена. У описаному прикладі локальна система споживала близько 90 Вт і дозволяла експериментувати без страху перед несподіваним рахунком за хмару. В оригінальному обговоренні учасник 144406 наводить Spark як приклад такої конфігурації.

Проте 90 Вт не варто вважати універсальним показником для локального ШІ. Це результат конкретного режиму, моделі та обладнання, а не орієнтир для обслуговування великих моделей. Що вищі вимоги до пам'яті й продуктивності, то швидше локальна інсталяція перетворюється з економного стенда на дорогу стійку, яка потребує охолодження.

Саме тут виникає парадокс open-weight екосистеми. Майже щоденний вихід китайських моделей розширює вибір, але водночас розганяє попит на GPU з великим обсягом пам'яті. На момент обговорення ціни на RTX PRO 6000 зросли з 11–13 до 16–17 тисяч доларів.

Хмара прибирає початкові витрати, але за кожну активну сесію доводиться платити. Знімки цін середини 2026 року оцінювали H200 приблизно у 4,50–5,50 долара за годину за базовими тарифами та у 1,80–2,80 долара в межах окремих спотових пропозицій. Для рідкісних важких запусків така арифметика виглядає розумнішою за купівлю прискорювача.

Контраст добре видно в статті Anthropic “Automated researchers can reliably mitigate alignment failures” від 28 серпня 2026 року. Для автоматизованих дослідників там використовували H200: це вже клас завдань, де компактний локальний режим на 90 Вт не є прямою альтернативою.

Вибір тепер визначає завантаження, а не ідеологія

Локальний інференс перемагає за постійної роботи, чутливих даних і потреби повністю контролювати середовище. Хмара лишається сильнішою за нерегулярного навантаження, різких піків та експериментів, яким тимчасово потрібні прискорювачі класу H200.

Насамперед варто рахувати не лише електроенергію та погодинний тариф. До локальної моделі витрат входять ціна GPU, простій, охолодження, обслуговування та ризик швидкого морального старіння. До хмарної — зберігання, передавання даних і години, втрачені через погано налаштований життєвий цикл ресурсів.

Зростання цін на RTX PRO 6000 показує, що open-weight моделі не просто демократизують інференс. Вони переносять дефіцит з API на залізо. Головне невирішене питання тепер не в тому, де запускається модель, а в тому, наскільки повно буде завантажений придбаний прискорювач.

Раніше ми розглядали Cocoon і те, як конфіденційні обчислення змінюють вартість інференсу та вимоги до приватності. Цей приклад доповнює розмову про те, коли власна інфраструктура виправдана на тлі зростання цін на GPU.