Технічний контекст
Я поліз у розбір Redwood і саму статтю, бо тема не іграшкова: якщо модель може рахувати всередині сміттєвих токенів, AI automation вже не можна оцінювати лише за видимою відповіддю. І так, це не гарна метафора, а цілком спостережувана поведінка в нових моделях.
Суть проста. У prompt додають безглуздий хвіст: крапки, знаки, лічильники, порожні токени. Старі моделі здебільшого ігнорували це, а свіжі frontier-моделі, судячи з результатів Redwood та paper "Reading Between the Dots", використовують такі області як робочу пам'ять для прихованих проміжних обчислень.
Мене тут зачепило не саме слово filler, а механізм. Модель не зобов'язана писати chain-of-thought назовні, але все одно може проганяти корисні уявлення через hidden states на цих позиціях. Автори показують, що це обчислення частково декодується з внутрішніх станів: ранні шари витягують факти, пізні їх комбінують.
По цифрах там теж не пусто. У Opus 4.5 точність на math без CoT зросла приблизно з 45% до 51% з filler-токенами, у DeepSeek V3 на окремих завданнях зростання ще помітніше. Але важливе застереження: це більше про паралельну обчислювальну глибину, а не про довге послідовне міркування крок за кроком.
Тобто filler-токени не перетворюють трансформер на нескінченну стрічку роздумів. Скоріше вони дають моделі додатковий простір, де можна розкидати підзадачі, перерозподілити активації і потім зібрати відповідь. Для інтерпретовності це одночасно красиво і неприємно.
Вплив на бізнес і автоматизацію
Для прикладної AI implementation висновок у мене жорсткий: не можна вважати, що спостережуваний текст reasoning дорівнює реальному reasoning. Якщо ви будуєте перевірки, guardrails чи аудит навколо «покажи хід думки», ця опора стала ще слабшою.
Другий ефект архітектурний. Prompt engineering і AI integration тепер упираються не лише в правильні інструкції, а й у те, як контекст дає моделі місце для внутрішніх обчислень. Це може змінювати якість на складних завданнях, але водночас ламати передбачуваність і вартість inference.
Хто виграє? Команди, які тестують моделі на рівні поведінки та трас, а не вірять гарному CoT. Хто програє? Ті, хто продає «прозорість» лише на основі тексту відповіді. Ми в Nahornyi AI Lab якраз такі штуки і розбираємо на практиці: де hidden computation допомагає, а де створює ризик в AI solutions for business.
Якщо у вас AI automation вже сидить у критичному процесі, я б не чекав наступного сюрпризу від моделі. Можна спокійно пройтися вашим пайплайном, перевірити, де контроль ілюзорний, і в Nahornyi AI Lab зібрати AI solution development так, щоб система економила час, а не приносила приховані ризики в найневдаліший момент.