Що саме Google підкрутив
Я заліз у оновлення Gemma 4 не з академічного інтересу, а тому що такі релізи безпосередньо впливають на AI implementation у реальних системах. Якщо модель вміщується в пам'ять телефону, браузера чи компактного edge-бокса без зайвих танців, це вже не демо, а нормальний інженерний інструмент.
По суті, Google випустив Gemma 4 QAT, тобто версії, навчені з урахуванням квантизації. Найважливіше: E2B тепер уміщується приблизно в 1 ГБ пам'яті у мобільному форматі, а в деяких конфігураціях тримається менше ніж 1.5 ГБ на 2-бітних та 4-бітних вагах з memory-mapped шарами.
Далі цікавіше. Вони додали Multi-Token Prediction, і на мобільних GPU обіцяють до 2.2x прискорення декодування, на CPU до 1.5x. Для локального інференсу це не косметика: саме декодування найчастіше робить інтерфейс «тупуватим».
Ще один шматок, де я реально зупинився, це TurboQuant. Google заявляє до 6x стиснення завдяки своїй схемі квантизації, і це вже розмова не лише про RAM, а й про storage, доставку моделі на девайс та оновлення в проді.
По лінійці теж усе логічно: E2B та E4B для мобільного та edge, 26B MoE з активними 3.8B параметрів для серйозніших сценаріїв, 31B для локалки та сервера. Плюс зменшили аудіоенкодер майже вдвічі за розміром параметрів і ще сильніше на диску, що робить офлайн-обробку голосу на пристрої куди менш болючою.
Що це змінює в автоматизації
Перший ефект простий: більше сценаріїв можна вивести з хмари на пристрій. Це корисно там, де важливі затримка, приватність або нестабільний інтернет: польові інтерфейси, мобільні асистенти, локальні AI агенти, голосові пайплайни.
Другий момент уже про гроші. Якщо модель швидша та компактніша, архітектура AI automation стає дешевшою не лише на інференсі, а й на підтримці: менше вимог до заліза, простіший rollout, менше сюрпризів на клієнтських пристроях.
Виграють команди, які будують офлайн-first продукти та edge-сервіси. Програють ті, хто досі проєктує все через один важкий хмарний LLM, хоча завдання давно проситься в локальний контур.
Я такі розвилки бачу постійно: начебто модель «та сама», а після нормального пакування вся AI solutions architecture змінюється. Якщо ваші процеси впираються в затримки, приватність або вартість локального інференсу, спокійно приносьте це до нас у Nahornyi AI Lab: я з командою допоможу зібрати AI automation так, щоб воно жило на вашому залізі, а не тільки гарно виглядало в презентації.