Matryoshka LM: одна архітектура замість набору моделей

Одна модель, кілька робочих розмірів

Найцікавіший тут головний прийом: Matryoshka Language Model Suites навчає одну вкладену архітектуру, усередині якої існують підмоделі дедалі більшого розміру. У серпні 2026 року Nathan Godey і Yoav Artzi описали це в анотації однойменної роботи на arXiv, а не як набір незалежно навчених чекпойнтів. Валідація охоплює підмоделі на 500 млн, 1,5 млрд і 3 млрд параметрів.

За даними авторів, така suite потребує на 36% менше обчислень для навчання, ніж незалежні базові моделі, за порівнюваних результатів на бенчмарках. Економія виникає не через стиснення постфактум: усі розміри спільно навчаються end-to-end та мають спільну архітектуру. Найбільша модель водночас постійно дистилює знання в менші на кожному кроці.

Друга важлива деталь стосується speculative decoding. Чернеткова модель уже міститься всередині моделі-верифікатора, тому частину обчислень і параметрів можна повторно використати; автори повідомляють про прискорення пропускної здатності на 14–26%. Для продакшену це потенційно важливіше за окреме значення perplexity, адже змінюється сама вартість зв’язки draft і verifier.

Проте анотація не замінює таблиць і повної методології. Насамперед варто перевірити, на яких завданнях зберігається паритет, як розподіляється навчання між розмірами та чи не платить найбільша модель якістю за підтримку менших. Без цих деталей 36% виглядають переконливо, але поки описують конкретну експериментальну suite, а не універсальний закон.

Чому порівняння з Gemma 3n доречне лише частково

Зв’язок із Gemma 3n реальний, але концептуальний: це не робота про Gemma і не продовження її експериментів. Gemma 3n також використовує MatFormer і вибіркову активацію параметрів для роботи на пристроях з обмеженими ресурсами, пропонуючи ефективні розміри 2B і 4B. Спільна ідея полягає в тому, щоб не вважати кожен розмір цілком окремим продуктом.

Якщо підхід переноситься на інші масштаби, виграють команди, яким потрібні різні профілі затримки та ресурсів у межах одного сімейства. Навчання, дистиляція і speculative decoding перестають бути трьома слабко пов’язаними конвеєрами. Водночас зростає зв’язаність системи: зміна спільної архітектури може поліпшити один розмір і погіршити інший.

Мій інженерний висновок обережно оптимістичний. Це не просто пакування моделей в один файл, а спроба зробити вкладеність властивістю навчання та інференсу. Головне відкрите питання — чи зберігаються заявлені переваги після масштабування, коли компроміси між підмоделями зазвичай стають помітнішими, а ціна помилки вища.

Раніше ми розглядали Pony Alpha на OpenRouter як модель для безпечних експериментів і перевірки архітектурних гіпотез. Цей матеріал допомагає зіставити лабораторні результати Gemma 3n із практикою тестування нових моделей.