Manipulierte Eingaben versuchen, die Aufgabe eines KI-Systems umzulenken.
Beispiel aus der Praxis
Ein Dokument könnte den Agenten zum Versand vertraulicher Daten auffordern. Untrusted Inhalte dürfen keine Berechtigungen erweitern.
Ein Inhalt ist keine neue Befugnis
Ein gefundenes Dokument kann behaupten, der Nutzer habe einen Datenexport angeordnet. Das macht die Behauptung nicht zu einer gültigen Freigabe. Die Anwendung muss Auftrag und erlaubte Aktionen aus vertrauenswürdigen Vorgaben ableiten.
Realistische Tests vorbereiten
Nutze harmlose Testdokumente, die einen unerlaubten Empfänger oder eine zusätzliche Aktion verlangen. Prüfe, ob nur die Formulierung abgelehnt wird oder ob auch der technische Werkzeugzugriff zuverlässig verhindert bleibt.