Технический контекст
Я полез в цифры, потому что тема про «2.7T параметров и всего 50B активных» звучит эффектно, но с фактами там каша. У Qwen на сегодня нет официальной модели на 2.7 триллиона параметров. Скорее всего, люди смешали размер модели с объемом обучающих данных, а это совсем разные разговоры.
Если смотреть на реальные релизы, то ближе всего сюда Qwen3-235B-A22B: 235 миллиардов параметров суммарно и около 22 миллиардов активируемых на токен. Это уже серьезный MoE-подход, и именно он важен для AI automation и production-систем, потому что решает не только вопрос качества, но и вопрос цены инференса.
Вот где я реально остановился: sparse MoE не отменяет физику. Когда у тебя активируется малая часть весов, вычислений на токен меньше, да. Но память, маршрутизация экспертов, пропускная способность interconnect и задержки никуда не исчезают.
Поэтому расчеты из обсуждения про сотни GPU, десятки терабайт HBM и безумный бюджет не выглядят бредом как класс. Они выглядят бредом применительно к приписанному Qwen-числу, но не к самой идее предобучения гигантской sparse-модели. Для полного тренинга такого уровня разговор обычно идет уже не про «сервер», а про отдельную инфраструктурную программу.
И да, fine-tuning тут отдельная боль. LoRA еще можно протащить относительно вменяемо, а вот полноценное дообучение огромной MoE-архитектуры быстро упирается в память, sharding, checkpointing и стоимость экспериментов. На салфетке это считается красиво, а потом приходит счет за кластер и охлаждение.
Что это меняет для бизнеса и автоматизации
Для бизнеса вывод очень приземленный: большинству компаний не нужен свой монстр на сотни миллиардов параметров. Им нужна нормальная AI architecture: выбрать модель под задачу, собрать пайплайн, добавить retrieval, контроль качества и мониторинг.
Выигрывают те, кто строит AI solutions for business вокруг эффективности, а не вокруг фетиша по размеру модели. Проигрывают команды, которые планируют бюджет по хайпу из X, а не по реальным ограничениям памяти, latency и стоимости токена.
Я это вижу постоянно: проблема обычно не в том, что «модель слишком маленькая», а в том, что AI implementation собрано криво. В Nahornyi AI Lab мы как раз решаем такие узкие места: где нужен агент, где хватит компактной MoE, а где дешевле и надежнее вообще не трогать тяжелое обучение. Если у вас пайплайн уже начинает упираться в стоимость, задержку или хаос в интеграциях, можно спокойно разобрать архитектуру вместе со мной и собрать AI automation без лишних миллионов в железе.