Ein Dokument kann Ihre AI steuern, ohne dass Sie es bemerken

Stellen Sie sich einen gewöhnlichen Arbeitstag vor. Sie laden den Vertrag eines Lieferanten in einen AI Assistenten hoch und bitten ihn, riskante Bestimmungen zu kennzeichnen. Wenige Sekunden später erhalten Sie eine übersichtliche Antwort. Einige Passagen fehlen jedoch, während andere wesentlich günstiger erscheinen, als sie tatsächlich sind. Das Problem muss nicht darin liegen, dass die AI den Vertrag falsch verstanden hat. Möglicherweise hat sie lediglich eine Anweisung befolgt, die jemand im Dokument versteckt hat. Sie haben sie nicht gesehen. Die AI schon.

Wir geben sensible Daten unüberlegt an AI weiter

AI fasst heute Verträge zusammen, prüft Angebote, analysiert Tabellen und bereitet Antworten auf Emails vor. Zusammen mit der Aufgabe erhält sie jedoch häufig personenbezogene Daten, interne Richtlinien, Finanzergebnisse, Preisangebote, Quellcode, Kundenkommunikation oder noch nicht abgeschlossene Verträge. Der Benutzer sieht ein Werkzeug, das ihm innerhalb weniger Sekunden eine Stunde Arbeit erspart. Weniger Gedanken macht er sich darüber, wohin das Dokument gesendet wird, wie lange es dort gespeichert bleibt und wer darauf zugreifen kann.

Wie ein AI Anbieter mit den Eingaben umgeht, hängt vom jeweiligen Dienst, vom Kontotyp und von dessen Einstellungen ab. Nicht jedes hochgeladene Dokument wird automatisch zum weiteren Training des Modells verwendet. Ein Unternehmen sollte jedoch wissen, wo seine Daten verarbeitet werden, wie lange sie gespeichert bleiben, wer darauf zugreifen kann und ob sich ihre Verwendung kontrollieren lässt. Wenn das Unternehmen diese Fragen nicht beantworten kann, hat es auch seine Daten nicht unter Kontrolle.

Ein Dokument muss nicht mehr nur ein Dokument sein

Bei klassischer Software werden Befehle und Daten getrennt verarbeitet. Ein Sprachmodell arbeitet jedoch mit Text, der die ursprüngliche Aufgabe des Benutzers, Systemregeln und den Inhalt des analysierten Dokuments enthalten kann. Die Grenze zwischen Daten und Anweisungen kann es deshalb nicht immer zuverlässig erkennen.

Wenn Sie die AI auffordern, einen Vertrag zusammenzufassen, sollte sie ihn lediglich als Informationsquelle behandeln. Der Text kann jedoch eine Anweisung enthalten, die ursprüngliche Aufgabe zu ignorieren, eine bestimmte Passage zu verschweigen oder die Antwort zu verändern. Der Befehl kann in Metadaten, einer unsichtbaren Dokumentebene, einem Bild oder in Text verborgen sein, der mit dem Hintergrund verschmilzt. Ein Mensch muss ihn nicht bemerken. Für die AI bleibt er ein Inhalt, den sie als Befehl interpretieren kann.

Ein Angriff, für den der Angreifer Ihr Passwort nicht benötigt

Ein solcher Angriff wird als indirekte Prompt Injection bezeichnet. Der Angreifer muss weder in das Unternehmensnetzwerk eindringen noch Zugriff auf den AI Assistenten erhalten. Es genügt, Inhalte vorzubereiten, die später vom Benutzer selbst an die AI übergeben werden.

Die schädliche Anweisung kann in einem Vertrag, einem Lebenslauf, einem Preisangebot, einem Email Anhang, einer Website oder einem Dokument in der internen Wissensdatenbank versteckt sein. Bei multimodaler AI kann sie auch Bestandteil eines Bildes oder anderer Inhalte sein, die das System analysieren kann. Der Angreifer muss nicht einmal wissen, wer das Dokument wann öffnet. Er muss lediglich Inhalte erstellen, die mit ausreichender Wahrscheinlichkeit von einer AI verarbeitet werden.

Was kann ein versteckter Befehl bewirken?

Die Folgen hängen davon ab, auf welche Daten und Berechtigungen die AI zugreifen kann. Wenn sie nur ein einzelnes Dokument zusammenfasst, kann der Angreifer die Antwort beeinflussen, eine ungünstige Bestimmung verschweigen oder eine Information hervorheben, die seinen Interessen dient. Hat die AI Zugriff auf interne Dokumente, Emails oder Datenbanken, kann sie versuchen, weitere sensible Informationen zu finden und offenzulegen.

Ein noch größeres Risiko entsteht bei AI Agenten, die Unternehmenswerkzeuge verwenden können. Eine manipulierte AI muss dann nicht nur einen falschen Text erzeugen. Sie kann eine Nachricht vorbereiten oder versenden, einen Datensatz im System verändern, einen gefährlichen Link öffnen oder im Namen des Benutzers eine andere Aktion ausführen. Je mehr Daten und Berechtigungen die AI erhält, desto größer ist der Handlungsspielraum für den Angreifer.

Das Open Worldwide Application Security Project, eine Organisation, die Methoden und Empfehlungen für Anwendungssicherheit entwickelt, zählt Prompt Injection zu den wichtigsten Risiken beim Einsatz von LLM. Ein erfolgreicher Angriff kann zum Abfluss von Informationen, zur Manipulation von Ergebnissen und zum Missbrauch verbundener Systeme führen.

Nicht jede AI stellt dasselbe Risiko dar

Ein isoliertes AI Werkzeug, das ein einzelnes Dokument verarbeitet und keinen Zugriff auf weitere Systeme hat, stellt ein geringeres Risiko dar. Es kann weiterhin eine manipulierte Antwort erzeugen oder Daten auf ungeeignete Weise verarbeiten, seine Möglichkeiten sind jedoch begrenzt.

Das Risiko steigt deutlich, wenn die AI interne Dokumente durchsuchen, Emails lesen, mit Kundendaten arbeiten oder Aktionen ausführen kann. Ein AI Agent mit Zugriff auf Unternehmenssysteme ist nicht nur ein intelligenterer Chatbot. Aus Sicherheitssicht handelt es sich um einen weiteren Benutzer, dessen Berechtigungen festgelegt, dessen Aktivitäten überwacht und dessen potenzielle Schäden begrenzt werden müssen.

Ein Satz im System Prompt reicht nicht aus

Eine einfache Schutzmaßnahme kann eine Systemanweisung sein, nach der die AI Befehle in Dokumenten ignorieren und niemals sensible Daten offenlegen soll. Eine solche Regel kann helfen, stellt jedoch keine zuverlässige Sicherheitsgrenze dar. Der Angreifer kann Formulierung, Sprache, Struktur oder Position seines Befehls verändern und testen, wann das Modell ihm Vorrang gibt.

Derzeit gibt es keinen universellen Schutz, der jeden Prompt Injection Angriff stoppen kann. Unternehmen müssen daher damit rechnen, dass eine schädliche Anweisung die Schutzmechanismen überwinden kann. Entscheidend ist deshalb, sowohl die zugänglichen Daten als auch die möglichen Aktionen der AI zu begrenzen.

So lässt sich das Risiko reduzieren

Eine AI sollte nicht automatisch dieselben Berechtigungen wie der Benutzer erhalten. Wenn sie Dokumente lediglich analysieren soll, muss sie diese nicht verändern, löschen oder versenden können. Wenn sie einen Email Entwurf vorbereitet, sollte sie ihn nicht ohne Bestätigung des Benutzers absenden. Sensible Aktionen müssen unter menschlicher Kontrolle bleiben.

Ein externes Dokument darf nicht allein deshalb als sicher gelten, weil es keinen Virus enthält. Für eine AI kann auch ein gewöhnlicher Satz gefährlich sein. Das Unternehmen muss deshalb kontrollieren, welche Daten die AI verarbeitet, auf welche Werkzeuge sie zugreift und ob sie versucht, eine Aktion auszuführen, die nicht zur ursprünglichen Aufgabe gehört.

Ebenso wichtig sind regelmäßige Sicherheitstests. Ein Funktionstest prüft, ob die AI einen Vertrag korrekt zusammenfassen kann. Ein Sicherheitstest untersucht, ob sie dazu gebracht werden kann, Informationen zu verschweigen, sensible Daten offenzulegen oder ein verbundenes System zu missbrauchen.

Ein Verbot von AI löst das Problem nicht

Wenn ein Unternehmen AI verbietet, die Beschäftigten sie jedoch als nützlich empfinden, wird ein Teil von ihnen die Technologie weiterhin über private Konten und ohne Wissen des Sicherheitsteams verwenden. Dadurch entsteht Shadow AI, also die Nutzung nicht genehmigter AI Werkzeuge außerhalb der Kontrolle des Unternehmens.

Die bessere Lösung besteht darin, zugelassene Werkzeuge bereitzustellen und klar festzulegen, welche Daten verarbeitet werden dürfen, welche anonymisiert werden müssen und welche nicht in externe Systeme gehören. Ein allgemeines Verbot, sensible Daten einzugeben, reicht nicht aus. Beschäftigte müssen wissen, ob auch ein Vertrag, ein Lebenslauf, ein Preisangebot oder ein Besprechungsprotokoll als sensibel gilt.

Wer steuert Ihre AI wirklich?

Die AI kann vom Benutzer gesteuert werden, der ihr die Aufgabe erteilt hat. Sie kann durch Regeln gelenkt werden, die ein Entwickler festgelegt hat. In einer unzureichend geschützten Anwendung kann ihr Verhalten jedoch auch vom Autor des Dokuments beeinflusst werden, das sie gerade verarbeitet.

Unternehmen müssen deshalb nicht auf AI verzichten. Sie müssen jedoch wissen, welche Daten sie ihr bereitstellen, welche Inhalte sie laden darf und welche Aktionen die AI im Namen eines Benutzers ausführen kann.

Ein Dokument muss nämlich nicht nur Informationen enthalten. Es kann auch einen Befehl enthalten.

Kann Ihre AI versteckten Anweisungen widerstehen?

Citadelo testet die Sicherheit von AI und LLM Anwendungen einschließlich ihrer Widerstandsfähigkeit gegen Prompt Injection Angriffe, den Abfluss sensibler Daten und den Missbrauch verbundener Werkzeuge.