Технічний контекст
Я подивився на історію без зайвого галасу, і ось що справді цікаво: Soofi S 30B не «перевернула ринок», але продемонструвала рідкісну для LLM прозорість. Для тих, хто будує AI automation або планує AI integration у продукт, це часто корисніше, ніж черговий пафосний реліз із закритими нутрощами.
Модель зібрана за мотивами Nemotron 3 Nano: гібридний MoE, близько 31.6B параметрів і приблизно 3B активних на токен. Навчання відбувалося на приблизно 27T токенах, де близько 20T — це широкий корпус, а ще близько 7T додали як якісніші та синтетичні дані.
Мені тут сподобалося не те, що вони взяли знайому архітектуру. Навпаки, це здорова інженерна дисципліна. Якщо хочеш зрозуміти, що саме дають датасет, curriculum і tokenizer, не треба одночасно винаходити новий трансформер, а потім гадати, що спрацювало.
Фактична картина твереза. На німецьких бенчмарках Soofi S виглядає краще за baseline-версію Nemotron, і це хороший результат. Але розмови у стилі «Європа тепер наздогнала Китай у open source моделях» я б одразу відкинув: у математиці та задачах на long-context extraction модель не є лідером.
Окремо зафіксую важливе: у відкритому доступі є ваги, чекпойнти, training та eval code, опис суміші даних і рецепти. Це вже багато. Але якщо хтось переказує історію як «виклали геть усе, аж до повних W&B логів», я б перевіряв джерело, бо саме з live training traces там усе не так однозначно.
Що це змінює для бізнесу та автоматизації
Для мене головний висновок простий: відкриті training recipes сильно скорочують вартість експериментів. Коли я проєктую AI architecture для клієнта, такі публікації дають змогу швидше зрозуміти, які рішення дійсно масштабуються, а які гарно виглядають лише у презентації.
Виграють команди, яким потрібен суверенний стек, локальні мови та контроль над даними. Програють ті, хто знову повірить у заголовок замість метрик і почне будувати стратегію на політичному маркетингу, а не на evals.
І так, саме на цьому зазвичай усе ламається в проді: одна стаття обіцяє лідерство, а потім workflow впирається у контекст, ціну інференсу чи якість retrieval. У Nahornyi AI Lab ми саме такі речі розбираємо руками і збираємо AI solutions for business без зайвої міфології. Якщо у вас назрів перехід від красивих демо до нормальної automation with AI, можна спокійно подивитися на ваш стек і зібрати рішення під реальні процеси, а не під гучний заголовок.