Технический контекст
Я зацепился за этот релиз не из-за красивого слова “1-bit”, а из-за очень приземленной вещи: локальная модель на телефоне наконец перестает быть игрушкой. Если Bonsai 8B от PrismML держит заявленный уровень, то AI integration на устройстве уже можно обсуждать всерьез, а не в формате демо для конференции.
По фактам тут интересно. Модель называется Bonsai 8B, у нее 8.2 млрд параметров, и при этом ей нужно около 1.15 ГБ RAM. Это не очередная ужатая постфактум версия, а модель, обученная с нуля с 1-битными весами, где вычисления сводятся к бинарной схеме +1 или -1.
Я обычно скептичен к таким заявлениям, но цифры у них слишком вкусные, чтобы пройти мимо. PrismML пишет про примерно 368 токенов в секунду на RTX 4090, 131 tok/s на M4 Pro и около 44 tok/s на iPhone 17 Pro Max. Для on-device сценариев это уже не “терпимо”, а реально быстро.
По бенчмаркам средний балл 70.5 на наборе из шести тестов, включая GSM8K, HumanEval+ и MMLU-Redux. Это выглядит конкурентно даже на фоне обычных 8B-моделей в полном формате, а по плотности интеллекта на гигабайт там вообще начинается очень неприятный разговор для всех, кто до сих пор тащит лишние гигабайты в мобильный inference.
И вот здесь я вспомнил практический кейс, который у многих уже был: интернета нет, а локальная Gemma 4B все равно выручает. Если Bonsai 8B действительно заметно умнее при таком размере, Big Tech пора перестать делать вид, что нормальная локальная модель в телефоне это экзотика.
Влияние на бизнес и автоматизацию
Первый вывод простой: часть AI automation можно будет уводить с облака на устройство. Это значит меньше задержек, меньше расходов на инференс и меньше боли с приватностью там, где данные не хочется отправлять наружу.
Второй момент уже архитектурный. Если модель такого класса живет в 1.15 ГБ, можно проектировать гибридные пайплайны: быстрые локальные задачи на телефоне, тяжелые рассуждения в облаке. Я именно такие развилки обычно и смотрю в AI architecture, когда собираю рабочую систему, а не лабораторный фокус.
Выигрывают продукты с плохим интернетом, жесткими требованиями к приватности и массовой мобильной аудиторией. Проигрывают решения, которые до сих пор оправдывают облачную зависимость только тем, что “иначе модель не помещается”. Этот аргумент начинает рассыпаться.
Если вы уже думаете, какие куски процесса можно вынести на устройство без потери качества, это как раз тот момент, когда стоит пересобрать стек. В Nahornyi AI Lab я помогаю такие вещи не обсуждать в теории, а собирать в рабочую AI automation под конкретный продукт, чтобы она экономила время людям, а не просто грела презентацию.