ИИ-агенты пока не готовы управлять инфраструктурой

Возможности модели тут не главный вопрос

Я бы не ставил способность модели на первое место. К ноябрю 2026 года барьер для ИИ-агентов в энергетике, водоснабжении и на железной дороге выглядит прежде всего инженерным: как доказать безопасность каждого действия. В проекте Cyber AI Profile NIST связывает управление рисками ИИ с практиками ИТ, ОТ, промышленных систем управления и кибербезопасности.

И вот тут становится неуютно. Агент с доступом к диспетчерской системе получает не просто новый инструмент, а новый путь к физическому процессу. Prompt injection, отравленная телеметрия, скомпрометированный датчик или вредоносная инструкция для инструмента могут превратить правдоподобный ответ в опасную команду.

Галлюцинация при этом лишь один класс отказа. Есть еще устаревшие или противоречивые данные, потеря датчиков, редкие режимы установки, жесткие сроки реакции и изменения модели после обновления. Обычный бенчмарк языковой модели не доказывает, что система корректно поведет себя при аварии или атаке.

Поэтому разумная архитектура пока скучна, и это комплимент. Агент работает как советник, а детерминированная логика безопасности проверяет допустимость команд. Доступ к инструментам ограничен белым списком и минимальными привилегиями, сети сегментированы, критические действия подтверждает квалифицированный оператор.

Нужны также журналы с защитой от подмены для входных данных, вызовов инструментов, согласований и исполненных команд. Без отката, безопасного состояния и ручного управления автономность превращается в ставку на то, что необычный сценарий не случится.

Человек в контуре не решает вопрос ответственности

Человек в контуре не закрывает проблему автоматически. При шквале предупреждений оператор может довериться уверенной формулировке, не получить достаточно контекста или просто не успеть вмешаться. Значит, контроль должен давать реальное право отклонить действие, понятные доказательства и отрепетированный ручной режим.

Юридический разрыв не менее серьезен. После аварии ответственность может оказаться распределенной между оператором инфраструктуры, интегратором, поставщиком модели, разработчиком ПО, подрядчиком и конкретным сотрудником. Пока роли не закреплены заранее, расследование рискует спорить не о причине сбоя, а о том, чей именно это сбой.

По секторам граница выглядит довольно ясной. В электросетях агент уместен для прогнозирования и диагностики, в воде — для анализа обслуживания и качества процессов, на железной дороге — для расписаний, приоритизации ремонта и разбора инцидентов. Но влияние на защитные настройки, дозирование, давление, маршрутизацию или разрешение движения требует гарантий уровня safety-critical компонентов, а не красивой точности на общей выборке.

Мой вывод простой: речь не о запрете ИИ, а о запрете неограниченной власти без проверяемых границ. Самый трудный компонент такого агента, похоже, не модель, а система ответственности вокруг нее.

Ранее мы разбирали, как атаки с Unicode-гомоглифами могут обмануть ИИ-агентов и заставить их перейти по фишинговым ссылкам или выполнить вредоносные команды. Такие векторы атак особенно актуальны, когда агенты работают в среде критической инфраструктуры.