ШІ-агенти ще не готові керувати інфраструктурою

Можливості моделі — не головне питання

Я б не ставив можливості моделі на перше місце. Станом на листопад 2026 року бар'єр для ШІ-агентів в енергетиці, водопостачанні та на залізниці має передусім інженерний характер: як довести безпечність кожної дії. У проєкті Cyber AI Profile NIST пов'язує управління ризиками ШІ з практиками ІТ, ОТ, промислових систем керування та кібербезпеки.

І саме тут стає некомфортно. Агент із доступом до диспетчерської системи отримує не просто новий інструмент, а новий шлях до фізичного процесу. Prompt injection, отруєна телеметрія, скомпрометований датчик або шкідлива інструкція для інструмента можуть перетворити правдоподібну відповідь на небезпечну команду.

Галюцинація — лише один клас відмов. Є також застарілі або суперечливі дані, втрата датчиків, рідкісні режими роботи установки, жорсткі строки реакції та зміни поведінки моделі після оновлення. Звичайний бенчмарк мовної моделі не доводить, що система коректно поводитиметься під час аварії чи атаки.

Тому розумна архітектура поки що нудна, і це комплімент. Агент працює як радник, а детермінована логіка безпеки перевіряє допустимість команд. Доступ до інструментів обмежується списком дозволеного та мінімальними привілеями, мережі сегментуються, а критичні дії підтверджує кваліфікований оператор.

Потрібні також журнали із захистом від підміни для вхідних даних, викликів інструментів, погоджень і виконаних команд. Без відкату, безпечного стану та ручного керування автономність перетворюється на ставку, що незвичний сценарій не станеться.

Людина в контурі не розв'язує питання відповідальності

Людина в контурі не закриває проблему автоматично. Під шквалом попереджень оператор може повірити впевнено сформульованій рекомендації, не мати достатнього контексту або просто не встигнути втрутитися. Отже, контроль має давати реальне право відхилити дію, зрозумілі докази та відпрацьований ручний режим.

Юридичний розрив не менш серйозний. Після аварії відповідальність може бути розподілена між оператором інфраструктури, інтегратором, постачальником моделі, розробником ПЗ, підрядником і конкретним працівником. Поки ролі не закріплені заздалегідь, розслідування ризикує сперечатися не про причину збою, а про те, чий саме це збій.

Межа за секторами доволі зрозуміла. В електромережах агент доречний для прогнозування й діагностики, у водопостачанні — для аналізу обслуговування та якості процесів, на залізниці — для розкладів, пріоритизації ремонту й розбору інцидентів. Але вплив на захисні налаштування, дозування, тиск, маршрутизацію чи дозвіл руху потребує гарантій рівня safety-critical компонентів, а не гарної точності на загальній вибірці.

Мій висновок простий: ідеться не про заборону ШІ, а про заборону необмеженої влади без перевірюваних меж. Найскладнішим компонентом такого агента, імовірно, є не модель, а система відповідальності навколо неї.

Раніше ми розглядали, як атаки з Unicode-гомогліфами можуть обманювати ШІ-агентів, змушуючи їх переходити за фішинговими посиланнями або виконувати шкідливі команди. Такі шляхи атак особливо важливі, коли агенти працюють у середовищі критичної інфраструктури.