Skip to main content
LLMopen sourceЕвропа

Soofi S 30B и редкая честность в обучении LLM

Soofi S 30B опубликовала почти полный набор материалов по обучению: код, конфиги, инвентарь данных и оценки. Для бизнеса это важно не из-за громких заголовков, а потому что такая прозрачность упрощает AI implementation, проверку архитектуры и перенос удачных решений в реальные пайплайны.

Технический контекст

Я посмотрел на историю без фанфар и вот что реально интересно: Soofi S 30B не «перевернула рынок», но показала редкую для LLM прозрачность. Для тех, кто строит AI automation или планирует AI integration в продукт, это часто полезнее, чем очередной пафосный релиз с закрытыми внутренностями.

Модель собрана по мотивам Nemotron 3 Nano: гибридный MoE, около 31.6B параметров и примерно 3B активных на токен. Обучение шло примерно на 27T токенов, где около 20T это широкий корпус, а ещё около 7T добавили как более качественные и синтетические данные.

Мне здесь понравилось не то, что они взяли знакомую архитектуру. Наоборот, это здравая инженерная дисциплина. Если хочешь понять, что именно даёт датасет, curriculum и tokenizer, не надо одновременно изобретать новый трансформер и потом гадать, что сработало.

По фактам картина трезвая. На немецких бенчмарках Soofi S выглядит лучше baseline-версии Nemotron и это хороший результат. Но разговоры в стиле «Европа теперь догнала Китай в open source моделях» я бы сразу убрал со стола: в математике и задачах на long-context extraction модель не выглядит лидером.

Отдельно зафиксирую важное: в открытом доступе есть веса, чекипойнты, training и eval code, описание смеси данных и рецепты. Это уже много. Но если кто-то пересказывает историю как «выложили вообще всё, вплоть до полных W&B логов», я бы перепроверял источник, потому что именно с live training traces там всё не так однозначно.

Что это меняет для бизнеса и автоматизации

Для меня главный вывод простой: открытые training recipes сильно сокращают стоимость экспериментов. Когда я проектирую AI architecture для клиента, такие публикации позволяют быстрее понять, какие решения реально масштабируются, а какие красиво выглядят только в презентации.

Выигрывают команды, которым нужен суверенный стек, локальные языки и контроль над данными. Проигрывают те, кто снова поверит в заголовок вместо метрик и начнёт строить стратегию на политическом маркетинге, а не на evals.

И да, именно на этом обычно всё ломается в проде: одна статья обещает лидерство, а потом workflow упирается в контекст, цену инференса или качество retrieval. В Nahornyi AI Lab мы как раз разбираем такие вещи руками и собираем AI solutions for business без лишней мифологии. Если у вас назрел переход от красивых демо к нормальной automation with AI, можно спокойно посмотреть на ваш стек и собрать решение под реальные процессы, а не под громкий заголовок.

Ранее мы рассказывали о методе простой самодистилляции, который позволяет повысить качество генерации кода без сложного обучения с подкреплением — этот приём вписывается в обсуждение эффективного обучения больших языковых моделей и может быть актуален при анализе открытого цикла тренировки Nemotron.

Поделиться статьёй