Ein Rezeptvideo darf keinen Zugriff auf die Karte erhalten

Ein Video darf kein Zahlungsbefehl werden

Ich würde einem Agenten keine Kette wie „Rezept sehen, Zutaten kaufen“ geben, wenn es keine harte Grenze zwischen der Auswertung von Inhalten und der Ausführung einer Transaktion gibt. Ein Video, Artikel, Screenshot oder die Antwort eines externen Tools sind nicht vertrauenswürdige Daten: Sie können eine Anweisung enthalten, die das Modell fälschlich als Fortsetzung seiner Aufgabe versteht.

Genau deshalb klingt das diskutierte Werbeszenario, bei dem ein Agent ein Rezeptvideo erhält, mit Karte zahlt und eine Lieferung organisiert, nicht wie eine bequeme Demonstration, sondern wie eine fertige Angriffsfläche. Der Kommentar selbst belegt weder einen tatsächlichen Einbruch noch vorhandene Bestellungen in einem Konto. Die beschriebene Architektur ist jedoch auch ohne diesen Nachweis gefährlich.

Die OpenAI-Leitlinien zur Agentensicherheit und die Modellspezifikation empfehlen, nicht vertrauenswürdige Eingaben zu isolieren, über strukturierte Felder zu übergeben und niemals direkt mit Entwickleranweisungen zu vermischen. Für Tool-Aktionen, insbesondere bei Vorgängen mit Finanzdaten, wird eine ausdrückliche menschliche Freigabe empfohlen. Die System Card von GPT-5 erwähnt zudem Prüfungen auf Prompt Injection bei Tool-Aufrufen und beim Browsing.

Auch Benchmarks zeigen das Ausmaß des Problems. StakeBench umfasste 3.168 angegriffene Durchläufe von Web-Agenten, wobei kein Angriffsziel zuverlässig abgewehrt wurde. FinVault enthält 963 Tests von Finanzagenten mit Prompt Injections, Jailbreaks und Compliance-Anforderungen. Im September 2026 ist dies kein exotischer Sonderfall mehr, sondern eine grundlegende Bedrohung für agentische Systeme.

Die Architektur muss Autonomie begrenzen

Die Schlussfolgerung ist einfach: Sicherheit kann nicht dem Modell selbst überlassen werden. Kann aus einem Video extrahierter Text direkt Kaufparameter bilden, springt eine erfolgreiche Injection vom Inhalt in den Zahlungsprozess.

Ich würde den Ablauf mindestens in die Extraktion einer Liste, die Prüfung gegen ein festes Schema und eine separate Bestätigung der Transaktion aufteilen. Das Tool braucht eng begrenzte Rechte, zulässige Aktionen sollten über Aufzählungen definiert sein, und Betrag, Adresse sowie Bestellinhalt dürfen nicht unbemerkt aus Medieninhalten stammen. Jede Änderung am Prompt oder Modell erfordert erneute adversariale Tests.

Das reduziert den Eindruck von „vollständiger Autonomie“, bewahrt aber das Wesentliche: Ein Video darf Daten vorschlagen, jedoch nicht die Befugnis erhalten, über eine Karte zu verfügen. Solange ein Agent gleichzeitig beliebiges Internet liest und ohne Bestätigung Geld ausgibt, bleibt seine Bequemlichkeit eine weitere Form der Verwundbarkeit.

Wir haben bereits erläutert, wie Prompt Injection KI-Automatisierung stören und Agenten zu unsicherem Verhalten verleiten kann. Dieselbe Schwachstelle wird besonders kostspielig, wenn ein Agent Videoanweisungen ausführen und Einkäufe tätigen kann.