Технічний контекст
Я зачепився за цей реліз не через красиве слово “1-bit”, а через дуже приземлену річ: локальна модель на телефоні нарешті перестає бути іграшкою. Якщо Bonsai 8B від PrismML тримає заявлений рівень, то інтеграцію ШІ на пристрої вже можна обговорювати всерйоз, а не у форматі демо для конференції.
За фактами тут цікаво. Модель називається Bonsai 8B, має 8,2 млрд параметрів і потребує близько 1,15 ГБ ОЗП. Це не чергова стиснута постфактум версія, а модель, навчена з нуля з 1-бітними вагами, де обчислення зводяться до бінарної схеми +1 або -1.
Я зазвичай скептичний до таких заяв, але цифри надто апетитні, щоб пройти повз. PrismML пише про приблизно 368 токенів на секунду на RTX 4090, 131 ток/с на M4 Pro і близько 44 ток/с на iPhone 17 Pro Max. Для сценаріїв на пристрої це вже не “терпимо”, а справді швидко.
За бенчмарками середній бал 70,5 на наборі з шести тестів, включаючи GSM8K, HumanEval+ і MMLU-Redux. Це виглядає конкурентно навіть на тлі звичайних 8B-моделей у повному форматі, а за щільністю інтелекту на гігабайт там взагалі починається дуже неприємна розмова для всіх, хто досі тягне зайві гігабайти в мобільний inference.
І ось тут я згадав практичний кейс, який у багатьох уже був: інтернету немає, а локальна Gemma 4B все одно рятує. Якщо Bonsai 8B справді помітно розумніша за такого розміру, Big Tech час перестати вдавати, що нормальна локальна модель у телефоні — це екзотика.
Вплив на бізнес та автоматизацію
Перший висновок простий: частину автоматизації ШІ можна буде переносити з хмари на пристрій. Це означає менше затримок, менше витрат на інференс і менше болю з приватністю там, де дані не хочеться відправляти назовні.
Другий момент уже архітектурний. Якщо модель такого класу живе в 1,15 ГБ, можна проєктувати гібридні пайплайни: швидкі локальні задачі на телефоні, важкі міркування в хмарі. Саме такі розвилки я зазвичай і розглядаю в архітектурі ШІ, коли збираю робочу систему, а не лабораторний фокус.
Виграють продукти з поганим інтернетом, жорсткими вимогами до приватності та масовою мобільною аудиторією. Програють рішення, які досі виправдовують хмарну залежність лише тим, що “інакше модель не поміщається”. Цей аргумент починає розсипатися.
Якщо ви вже думаєте, які шматки процесу можна винести на пристрій без втрати якості, це якраз той момент, коли варто перезібрати стек. У Nahornyi AI Lab я допомагаю такі речі не обговорювати в теорії, а збирати в робочу автоматизацію ШІ під конкретний продукт, щоб вона економила час людям, а не просто гріла презентацію.