Sicherheitstests für KI und LLMs: Wenn Ihr KI-Assistent zum „Confused Deputy“ wird

Die Nachfrage nach Sicherheitstests für KI und große Sprachmodelle (LLMs) hat sich im Laufe des Jahres 2025 verdoppelt. Die damit verbundenen Risiken werden in den OWASP Top 10 for LLM Applications 2025 klar benannt. Dazu zählen insbesondere Prompt Injection, die Offenlegung sensibler Daten, übermäßige Berechtigungen von KI-Agenten (Excessive Agency), das Auslesen von System-Prompts und Schwachstellen in Datenbanken für Retrieval-Augmented Generation (RAG).

Für den Bankensektor stellt insbesondere Excessive Agency ein erhebliches Risiko dar. Warum das so ist, zeigte eines unserer Projekte im Jahr 2025. Wir testeten KI-Assistenten, die in die mobile App eines Finanzinstituts integriert waren. Sie sollten Kunden bei alltäglichen Vorgängen unterstützen, Dienstleistungen erklären und durch die App führen. Die Entwickler hatten ihnen jedoch auch die Möglichkeit gegeben, bestimmte Aktionen selbst auszuführen. Als ein Kunde die Einrichtung einer regelmäßigen Überweisung anforderte, führte ihn der Assistent nicht nur zum richtigen Bildschirm, sondern konnte die Überweisung auch selbst anlegen. Genau dieser Komfort wurde zum Sicherheitsrisiko.

Eine XSS-Schwachstelle allein reicht in der Regel nicht aus, um eine Banküberweisung auszuführen, da Transaktionen durch zusätzliche Mechanismen wie Benutzerbestätigungen oder Anti-CSRF-Token geschützt werden. Deshalb prüfen wir XSS und andere anwendungsbezogene Schwachstellen auch im Rahmen von Penetrationstests für Webanwendungen und APIs. Wird XSS jedoch mit einem KI-Agenten kombiniert, der einer manipulierten Anweisung folgt und eine Aktion im Namen des Benutzers ausführt, wird der Assistent zum sogenannten Confused Deputy – zu einer Komponente, die unbeabsichtigt genau jene Schutzmechanismen umgeht, die für diese Transaktion vorgesehen sind. Die Schwachstelle liegt hier weder in einem Speicherfehler noch in einem klassischen Programmierfehler, sondern in der Hilfsbereitschaft des Modells.

Wenn derselbe Agent berechtigt ist, einen Zahlungsempfänger hinzuzufügen, die E-Mail-Adresse für Benachrichtigungen zu ändern oder Sicherheitsfragen zurückzusetzen, kann nach einer erfolgreichen Prompt Injection jede dieser Funktionen für Betrugszwecke missbraucht werden.

Dabei handelt es sich nicht um ein isoliertes Problem. Dasselbe Prinzip wurde durch EchoLeak (CVE-2025-32711) in großem Maßstab sichtbar. Diese Zero-Click-Prompt-Injection-Schwachstelle verwandelte Microsoft 365 Copilot durch eine einzige speziell präparierte E-Mail in einen Kanal für den unbemerkten Abfluss von Daten. Auch deshalb startete OWASP im Jahr 2025 ein eigenes Projekt zur Sicherheit agentischer KI-Systeme. Agenten, die selbstständig handeln, externe Tools nutzen und mehrere Aktionen miteinander verknüpfen können, machen aus dem theoretischen Risiko Excessive Agency einen möglichen realen finanziellen Schaden.

Was bedeutet das für CISOs?

KI-Risiken sind nicht alle gleich. Ein interner Copilot mit Zugriff auf Unternehmensdokumente birgt vor allem das Risiko eines Datenabflusses, wie der Fall EchoLeak gezeigt hat. Hier sollten eine konsequente Begrenzung der Berechtigungen und die Kontrolle der Modellausgaben im Vordergrund stehen. Kundenorientierte Assistenten und agentische Systeme, die selbstständig handeln können, versagen auf andere Weise: durch übermäßige Berechtigungen und den Missbrauch der ihnen zur Verfügung stehenden Werkzeuge. Sie erfordern daher Sandboxing, das Prinzip der geringsten Rechte und die Einbindung eines Menschen bei jeder bedeutenden Aktion. In beiden Fällen gilt jedoch dasselbe: KI ist Teil der produktiven Angriffsfläche und muss regelmäßig getestet werden, statt ihre Sicherheit nur einmal während der Entwicklung abzuhaken. Für ein SOC bedeutet dies, Prompts, Tool-Aufrufe und ausgehende Daten ebenso konsequent zu überwachen wie die Aktivitäten eines privilegierten Servicekontos.

Ist KI-Sicherheit also nur ein Hype oder der neue Standard? Nach unseren Daten ist sie weder das eine noch das andere. Sie ist eine neue produktive Ebene, die bleiben wird. Unternehmen führen KI heute schneller ein, als sie deren Sicherheit testen können – und Angreifer kennen diese Lücke. In den kommenden zwei Jahren wird daher nicht entscheidend sein, ob Sie KI einsetzen, sondern ob Sie diese genauso konsequent testen und überwachen wie jedes andere produktive System.

Wissen Sie, welche Aktionen Ihr KI-Assistent im Namen eines Benutzers ausführen kann?

Wir testen Chatbots, KI-Agenten, RAG-Systeme und LLM-Anwendungen auf ihre Widerstandsfähigkeit gegen Prompt Injection, den Abfluss sensibler Daten, den Missbrauch von Tools und übermäßige Berechtigungen.