Angreifer können speziell präparierte Eingaben verwenden, um die Anweisungen für ein Sprachmodell zu manipulieren, vorgesehene Regeln der Anwendung zu umgehen und das Verhalten des Modells zu beeinflussen.

Schädliche Anweisungen können in externen Quellen, Dokumenten oder Webinhalten eingebettet sein, die von der AI-Anwendung verarbeitet werden, und dadurch das Verhalten des Modells ohne direkte Eingabe des Angreifers beeinflussen.

Wir testen, ob Sicherheitsbeschränkungen und Schutzmechanismen des Modells umgangen werden können, um Inhalte zu generieren oder Aktionen auszuführen, die eigentlich blockiert sein sollten.

Wir überprüfen, ob die AI-Anwendung personenbezogene Daten, interne Informationen, System-Prompts, Zugangsdaten oder andere sensible Informationen offenlegen kann.

AI-Agenten und Anwendungen können Zugriff auf externe Tools, APIs oder interne Systeme haben. Wir testen, ob diese Funktionen zur Ausführung unbefugter oder unerwünschter Aktionen missbraucht werden können.

Wir überprüfen, ob sich durch die Manipulation von Dokumenten, Wissensdatenbanken oder Vektorspeichern die Informationen beeinflussen lassen, die ein RAG-System dem Sprachmodell zur Verfügung stellt.

Wir testen, ob ein AI-Agent über zu weitreichende Berechtigungen verfügt oder sensible Operationen ohne ausreichende Kontrollen oder Genehmigungen selbstständig ausführen kann.

Wir überprüfen, ob sich das Verhalten, die Anweisungen oder die Entscheidungsfindung eines Modells so manipulieren lassen, dass unerwartete oder sicherheitskritische Ergebnisse entstehen.

Wir testen, ob sich die Ausgaben eines AI-Modells so manipulieren lassen, dass nachgelagerte Systeme, Anwendungen oder Benutzer beeinflusst und unerwünschte Aktionen ausgelöst werden.

Wir überprüfen, ob es bei der Nutzung einer AI-Anwendung zur Offenlegung interner Dokumente, Benutzerdaten, Kontextinformationen, Tokens oder anderer sensibler Informationen kommen kann.