Программирование весов: правка модели без обучения

Что именно программируют в нейросети

Меня здесь цепляет смена уровня абстракции: вместо промптов или обычного обучения предлагается напрямую читать и менять параметры модели. В технической статье Weight-Space Programming в блоге Rikiyat этот подход описан через четыре класса задач: чтение, исправление, запись и улучшение нейросетей без традиционного градиентного обучения.

Базовая операция выглядит просто: W' = W + ΔW. Можно изменить отдельный нейрон, строку матрицы, attention head, выбранный тензор или добавить структурированную дельту параметров. Сама запись в чекпойнт тривиальна; сложность в том, чтобы найти участок сети, действительно управляющий нужным поведением.

Латентное программирование работает иначе. Оно меняет скрытое представление во время инференса, например по схеме h' = h + αv, где v задаёт направление поведения, а α регулирует силу вмешательства. Такая правка обычно обратима и может включаться условно, тогда как изменение весов сохраняется в новом чекпойнте.

Граница с fine-tuning при этом размыта. LoRA можно рассматривать как ограниченную форму программирования весов: модель получает низкоранговое обновление W' = W + AB, только его находят оптимизацией по данным. Прямое редактирование пытается указать или найти ΔW без полного цикла обучения.

На ноябрь 2026 года я бы считал это исследовательским направлением, а не готовой заменой fine-tuning. В материалах упоминается WSPBench, который разделяет работу без инструментов, анализ весов и инструментированные условия, но сами результаты предлагается воспринимать как демонстрации, а не устоявшуюся производственную практику.

Где подход полезен и где ломается

Главная ценность здесь реальна: латентное вмешательство позволяет быстро проверить гипотезу, а правка весов затем делает найденное поведение постоянным. Это особенно интересно для локального ремонта ошибки, переноса task vector, объединения адаптеров и работы с известным внутренним контуром модели.

Но локальная правка по форме не гарантирует локальный эффект. Один нейрон или вектор может участвовать в нескольких функциях, нормализация способна ослабить вмешательство, а небольшая дельта после квантования или смены точности даст другой результат. Ещё неприятнее скрытая интерференция: целевой тест улучшается, а несвязанные способности деградируют.

Я бы сначала проверял направление через обратимый activation steering, затем измерял обобщение, устойчивость к перефразированию и сохранность посторонних возможностей. Только после этого имеет смысл переносить вмешательство в разреженную или структурированную ΔW. Самая трудная часть программирования весов пока не запись новых чисел, а доказательство того, что они меняют именно то, что было задумано.

Ранее мы разбирали, как проектирование code map улучшает внедрение контекста и навигацию в AI-ассистированной разработке. Этот фокус на формировании рабочего контекста модели естественно связан с программированием пространства весов как ещё одним способом настраивать поведение нейросети.