Muse Glimmer 30B вміщується в 24 ГБ VRAM

Що саме виклали

Muse Glimmer 30B чіпляє не тим, що це ще одна велика модель, а тим, що Meta у запусковому дописі та картка Hugging Face позиціюють її як відкриту локальну модель для агентного кодингу. У картці вказано 30 млрд параметрів, Apache 2.0, дата релізу August 2026 і контекст 131 072+ токенів.

Відкриті ваги викладено на Hugging Face, а навколо релізу фігурує 17-гігабайтна квантизація для запуску на пристроях з 24 ГБ пам'яті. Оце вже практична межа: не серверна стійка, не хмарний лічильник, а один потужний локальний вузол.

Модель ще й мультимодальна, з фокусом на agentic coding. Тобто ставка не просто на автодоповнення коду, а на роботу в режимі агента: читати контекст, тримати довге завдання, викликати інструменти й повертатися до патчу. 131к токенів тут не розкіш, а страховка від постійного обрізання репозиторію.

Бенчмарки виглядають сильними, але без магії

Сенс бенчмарків тут простий: Glimmer уже не виглядає як локальна модель другого сорту. За заявленими порівняннями в агентному кодингу вона помітно сильніша за Gemma4-31B, а з Qwen3.6-27B іде приблизно поруч: Glimmer кращий на SWE-Bench Pro, Qwen сильніший на Terminal-Bench.

Окремо в документації NVIDIA для Muse Glimmer фігурує SWE-Bench Verified 76.0. Це корисна точка на карті, але я не перетворював би її на культову цифру: кодинг-агенти ламаються не лише на розв'язанні задач, а й на довгих ітераціях, брудних залежностях і поганому tool-use.

Найбільш бадьора заявка щодо швидкості пов'язана з невеликою допоміжною моделлю для прискорення генерації. З нею для Glimmer називають 233 токени за секунду на RTX 5090, 50 на M5 Max і 38 на M4 Max. Гарно, але в реальній роботі важливіший не піковий потік токенів, а скільки з цих токенів переживе рев'ю.

Що це змінює для локального кодингу

Головний зсув: 24 ГБ VRAM стають нормальним класом заліза для серйозного локального кодинг-агента. Не для іграшкового чат-бота поруч з редактором, а для моделі з відкритими вагами, довгим контекстом і ліцензією Apache 2.0.

Для мене тут важлива саме зв'язка ліцензії, розміру і квантизації. Якщо модель можна підняти локально, тримати поруч із приват кодом і не впиратися одразу в хмарний API, інженерні експерименти стають набагато спокійнішими.

Але слабке місце нікуди не зникло: агентність. Локальний запуск не гарантує акуратних правок, безпечних команд і нормальної роботи з великим репозиторієм. Тепер питання не в тому, чи може локальна модель писати код, а в тому, скільки автономії їй взагалі можна довірити без страхувального троса.

Pydantic Monty вирішує задачу безпечного виконання згенерованого LLM коду через ізольований Python-інтерпретатор без контейнерів. У випадку локального кодового агента, такого як Muse Glimmer 30B, це напряму закриває питання середовища запуску згенерованого коду.