KI-Agenten sind noch nicht bereit für kritische Infrastruktur

Die Leistungsfähigkeit des Modells ist nicht die Hauptfrage

Ich würde die Fähigkeit des Modells nicht an erste Stelle setzen. Im November 2026 ist die Hürde für KI-Agenten in Energieversorgung, Wasserversorgung und Bahnverkehr vor allem eine technische: Wie lässt sich die Sicherheit jeder einzelnen Handlung nachweisen? Das Cyber AI Profile des NIST verbindet KI-Risikomanagement mit Praktiken aus IT, OT, industriellen Steuerungssystemen und Cybersicherheit.

Genau hier wird es unangenehm. Ein Agent mit Zugriff auf ein Leitstellensystem erhält nicht bloß ein neues Werkzeug, sondern einen neuen Weg zu einem physischen Prozess. Prompt Injection, manipulierte Telemetrie, ein kompromittierter Sensor oder eine bösartige Anweisung für ein Tool können eine plausibel klingende Antwort in einen gefährlichen Befehl verwandeln.

Halluzinationen sind dabei nur eine Fehlerklasse. Hinzu kommen veraltete oder widersprüchliche Daten, der Ausfall von Sensoren, seltene Betriebszustände, enge Reaktionsfristen und Verhaltensänderungen des Modells nach einem Update. Ein gewöhnlicher Benchmark für Sprachmodelle beweist nicht, dass sich ein System bei einem Notfall oder Angriff korrekt verhält.

Deshalb ist eine vernünftige Architektur vorerst langweilig, und das ist ein Kompliment. Der Agent arbeitet als Berater, während deterministische Sicherheitslogik die Zulässigkeit von Befehlen prüft. Der Zugriff auf Werkzeuge wird durch Allowlisting und minimale Berechtigungen beschränkt, Netzwerke werden segmentiert und kritische Aktionen von qualifizierten Bedienkräften bestätigt.

Außerdem sind manipulationssichere Protokolle für Eingabedaten, Tool-Aufrufe, Freigaben und ausgeführte Befehle nötig. Ohne Rollback, sicheren Zustand und manuelle Steuerung wird Autonomie zur Wette darauf, dass kein ungewöhnliches Szenario eintritt.

Ein Mensch im Regelkreis löst die Haftungsfrage nicht

Ein Mensch im Regelkreis schließt die Lücke nicht automatisch. Bei einer Flut von Warnungen kann eine Bedienkraft einer selbstsicher formulierten Empfehlung vertrauen, zu wenig Kontext erhalten oder schlicht keine Zeit zum Eingreifen haben. Kontrolle muss daher ein echtes Recht zur Ablehnung bieten, verständliche Nachweise liefern und einen eingeübten manuellen Modus vorsehen.

Die rechtliche Lücke ist ebenso schwerwiegend. Nach einem Unfall kann die Verantwortung zwischen Infrastrukturbetreiber, Integrator, Modellanbieter, Softwareentwickler, Auftragnehmer und einer konkreten Arbeitskraft verteilt sein. Solange Rollen nicht im Voraus festgelegt sind, droht die Untersuchung darüber zu streiten, wessen Fehler es war, statt die Ursache des Ausfalls zu klären.

Die Grenze ist je nach Sektor recht klar. In Stromnetzen eignet sich ein Agent für Prognosen und Diagnosen, im Wasserbereich für Wartungs- und Prozessqualitätsanalysen und bei der Bahn für Fahrpläne, die Priorisierung von Reparaturen und die Auswertung von Vorfällen. Einfluss auf Schutzeinstellungen, Dosierung, Druck, Streckenführung oder Fahrfreigaben verlangt jedoch Zusicherungen auf dem Niveau sicherheitskritischer Komponenten, nicht nur eine attraktive Genauigkeit auf einem allgemeinen Datensatz.

Mein Fazit ist einfach: Es geht nicht um ein Verbot von KI, sondern um das Verbot unbegrenzter Macht ohne überprüfbare Grenzen. Die schwierigste Komponente eines solchen Agenten ist vermutlich nicht das Modell, sondern das Verantwortungssystem um ihn herum.

Wir haben zuvor erläutert, wie Unicode-Homoglyphen-Angriffe KI-Agenten dazu verleiten können, Phishing-Links zu folgen oder schädliche Befehle auszuführen. Diese Angriffswege sind besonders relevant, wenn Agenten in Umgebungen kritischer Infrastruktur arbeiten.