Needle 3: модель від 8 до 29 МБ із гнучкою глибиною

Що саме випустила Cactus Compute

Я б описав Needle 3 не як чемпіона довгого контексту, а як дуже компактну модель зі змінною глибиною для локальної автоматизації. Cactus Compute у репозиторії проєкту та картці моделі на Hugging Face називає її Laddered Simple Attention Network і вказує розгортні підмережі від 2 до 20 шарів. Заявлений розмір становить від 8 до 29 МБ.

Усередині використано Monarch Hadamard MLP, GQA-увагу з каузальними згортковими гілками, енграмну пам’ять n-грам із читанням через gather і багатоканальні гіперзв’язки. Це не схоже на випадковий набір трюків: судячи з опису, мета полягає в тому, щоб зберегти модель малою та придатною для різних бюджетів обчислень. Можливість вибирати глибину тут важливіша за один фіксований розмір.

Офіційне позиціонування також досить вузьке й практичне: виклик інструментів, структуроване вилучення, мобільні дії та локальні агенти з обмеженням за схемою. Документація пакета описує клас Needle, формат відповіді, роботу з інструментами, налаштовані ваги, інтерфейс командного рядка та офлайн-режим. Тобто цей реліз варто оцінювати насамперед як компонент для пристроїв і автоматизації, а не як універсальну велику модель.

Станом на 19 вересня 2026 року в доступних офіційних матеріалах не видно таблиці long-context-бенчмарків або результатів needle-in-a-haystack саме для Needle 3. Це неприємна, але важлива прогалина: назва легко наштовхує на висновок про сильний пошук у великому контексті, однак опубліковані матеріали цього не підтверджують. Архітектура цікава; якість вилучення за значної глибини контексту поки залишається відкритим питанням.

Що змінюється для локальних агентів

Головна зміна полягає в тому, що розробник отримує не один жорсткий варіант моделі, а сімейство розгортних підмереж у межах спільної архітектури. Це корисно там, де той самий агент має вміщуватися в різні обмеження пристроїв. Найбільше виграють сценарії з локальним викликом інструментів і передбачуваним структурованим виводом.

Я б насамперед перевіряв не красиву схему архітектури, а три речі: точність вибору інструменту, дотримання заданої схеми та деградацію зі зменшенням кількості шарів. Окремий тест потрібен і для пам’яті n-грам: важливо зрозуміти, чи допомагає вона на реальних повторюваних шаблонах, чи лише додає ще один механізм із власними крайніми випадками.

Тому реліз виглядає змістовнішим за звичайну гонитву за параметрами, але не доводить зв’язок з ефективною обробкою довгого контексту. Needle 3 уже має чітку інженерну форму, проте переконливої публічної картини її меж поки немає.

Раніше ми розбирали Pony Alpha в OpenRouter — модель із контекстним вікном на 200 тисяч токенів для тестування архітектур і робочих сценаріїв. Цей приклад допомагає зіставити підхід Needle 3 до завдань довгого контексту з моделями, доступними на ринку.