KI verändert die Angriffsfläche

Sie setzen bereits KI ein. Haben Sie sie getestet?

Unsere Ethical Hacker testen die Sicherheit von KI-Anwendungen, Chatbots, KI-Agenten und LLM-Integrationen. Gleichzeitig setzen wir KI ein, um Penetrationstests schneller, effizienter und umfassender durchzuführen.

Angreifer nutzen KI bereits. Wir auch.

Künstliche Intelligenz verändert die Art und Weise, wie Cyberangriffe durchgeführt werden, grundlegend. Angreifer können Anwendungen schneller analysieren, ausgefeiltere Angriffsszenarien entwickeln und Aufgaben automatisieren, die bis vor Kurzem ausschließlich manuell durchgeführt werden konnten. Diesen Vorteil nutzen auch wir. Bei Penetrationstests kombinieren wir die Expertise unserer Ethical Hacker mit professionellen KI-Tools sowie lokalen und cloudbasierten Sprachmodellen. Dadurch können wir umfangreiche Umgebungen effizienter analysieren, mehr Angriffsszenarien testen und uns stärker auf die Erkenntnisse konzentrieren, die fachliches Urteilsvermögen erfordern.

Intelligente Aufklärung

Schnellere Analyse von Anwendungen, APIs und der Angriffsfläche.

Mehr Angriffsszenarien

Generierung und Auswertung einer größeren Anzahl von Testszenarien.

Analyse im großen Maßstab

Effiziente Analyse umfangreicher Anwendungen, Cloud-Umgebungen und Infrastrukturen.

Der Mensch entscheidet

Jeder Fund wird von einem erfahrenen Ethical Hacker verifiziert.

KI verändert die Angriffsfläche

Kostenlose Beratung anfordern

Der Einsatz von Chatbots, KI-Agenten, internen Copiloten und LLM-gestützten Anwendungen eröffnet Unternehmen neue Möglichkeiten, bringt jedoch gleichzeitig völlig neue Sicherheitsrisiken mit sich. Im Gegensatz zu herkömmlichen Anwendungen arbeitet KI mit natürlicher Sprache, greift auf interne Daten zu, kommuniziert mit externen Diensten und kann – im Fall von KI-Agenten – eigenständig Aktionen ausführen.

Dadurch entstehen neue Angriffsvektoren, die durch klassische Penetrationstests möglicherweise nicht erkannt werden. Zu den häufigsten gehören Prompt Injection, Jailbreak-Techniken, die Offenlegung sensibler Daten (Sensitive Data Exposure), der Missbrauch von Tool Calling sowie übermäßige Berechtigungen von KI-Agenten (Excessive Agency). Jede KI-Integration erweitert zudem die Angriffsfläche eines Unternehmens um neue Einstiegspunkte, die spezialisierte Sicherheitstests erfordern.

Die wachsende Bedeutung der KI-Sicherheit zeigt sich auch in neuen regulatorischen Anforderungen. Unternehmen müssen zunehmend Vorgaben und Standards wie den EU AI Act, NIS2, DORA, die DSGVO sowie ISO/IEC 27001 erfüllen. Diese legen besonderen Wert auf Risikomanagement, den Schutz sensibler Daten und die sichere Einführung KI-gestützter Systeme.

Unsere Tests basieren auf anerkannten Sicherheitsframeworks wie den OWASP Top 10 for Large Language Model (LLM) Applications und MITRE ATLAS. Diese Frameworks beschreiben die häufigsten Risiken und Angriffstechniken auf KI-Systeme und bilden die Grundlage für eine systematische Sicherheitsbewertung.

KI bringt neue Sicherheitsrisiken mit sich

Prompt Injection

Ein Angreifer manipuliert Eingaben so, dass die KI ihre ursprünglichen Regeln oder Systemanweisungen ignoriert. Dies kann dazu führen, dass Sicherheitsmechanismen umgangen, das Verhalten der Anwendung verändert oder unbefugter Zugriff auf interne Informationen ermöglicht wird.

Jailbreak

Mithilfe speziell entwickelter Prompts versucht ein Angreifer, die integrierten Schutzmechanismen des Sprachmodells zu umgehen. Dadurch kann die KI Antworten generieren oder Aktionen ausführen, die ursprünglich blockiert werden sollten. Dies kann zu Verstößen gegen Sicherheitsrichtlinien oder zur Offenlegung sensibler Daten führen.

Offenlegung sensibler Daten

LLM-Anwendungen arbeiten häufig mit internen Dokumenten, Datenbanken und personenbezogenen Daten. Ein falsch konfiguriertes oder unzureichend konzipiertes RAG-System kann dazu führen, dass sensible Informationen unbefugten Nutzern offengelegt werden.

Missbrauch von KI-Agenten

Moderne KI-Agenten können mit APIs, Datenbanken und Unternehmenssystemen interagieren und Aufgaben im Namen von Nutzern ausführen. Sind ihre Berechtigungen und Sicherheitsmechanismen nicht korrekt konfiguriert, können sie missbraucht werden, um unbefugten Zugriff zu erlangen, Daten zu manipulieren oder unerwünschte Aktionen auszuführen.

Die drei Säulen der KI-Sicherheit bei Citadelo

Kostenlose Beratung anfordern

Wir testen KI

Wir unterstützen Unternehmen dabei, KI-Lösungen sicher zu konzipieren, zu implementieren und zu testen – noch bevor sie produktiv eingesetzt werden. Wir prüfen die Widerstandsfähigkeit von Chatbots, KI-Agenten, LLM-Anwendungen und internen KI-Assistenten gegenüber modernen Angriffstechniken und helfen Unternehmen gleichzeitig dabei, Sicherheitsprinzipien bereits während der Entwicklung zu verankern.

Wir testen mit KI

Wir setzen sowohl lokale als auch cloudbasierte Sprachmodelle als Unterstützung für unsere Ethical Hacker ein. Sie helfen uns dabei, umfangreiche Anwendungen effizienter zu analysieren, große Datenmengen zu verarbeiten, Zusammenhänge zu erkennen, Testszenarien zu erstellen und die Abdeckung von Penetrationstests zu erweitern. Welche Bereiche getestet werden, wie Erkenntnisse validiert werden und welche Empfehlungen ausgesprochen werden, entscheidet jedoch stets ein erfahrener Ethical Hacker.

Wir testen mithilfe von KI

Wir setzen KI-Agenten ein, um ausgewählte Teile von Penetrationstests zu automatisieren – von der Analyse der Angriffsfläche über die Erstellung von Testszenarien bis hin zur Validierung von Erkenntnissen. Alle Ergebnisse werden jedoch von unseren Ethical Hackern überprüft, die den gesamten Testprozess steuern und für die abschließende Sicherheitsbewertung verantwortlich sind.

So läuft ein AI Pentest ab

Jeder AI Pentest wird individuell auf die jeweilige Lösung zugeschnitten – von Chatbots und internen Copiloten über KI-Agenten bis hin zu LLM-Anwendungen und RAG-Systemen. Während des Tests kombinieren wir die Expertise erfahrener Ethical Hacker mit KI-gestützten Tools und bewährten Methoden, um Schwachstellen zu identifizieren, bevor sie von Angreifern ausgenutzt werden können.

Zu Beginn legen wir gemeinsam den Umfang des Tests fest. Dabei identifizieren wir KI-Komponenten, externe Integrationen, Datenquellen, APIs, Berechtigungen von KI-Agenten sowie kritische Systeme und Daten, die Gegenstand der Sicherheitsbewertung sind.

Auf Grundlage der Architektur der Lösung identifizieren wir potenzielle Angriffsszenarien. Dabei orientieren wir uns an international anerkannten Sicherheitsframeworks wie den OWASP Top 10 for Large Language Model (LLM) Applications und MITRE ATLAS, die die häufigsten Angriffstechniken auf KI-Anwendungen beschreiben.

Unsere Ethical Hacker simulieren reale Angriffe auf KI-Anwendungen. Wir prüfen die Widerstandsfähigkeit gegenüber Prompt Injection, Jailbreak-Techniken, der Offenlegung sensibler Daten, dem Missbrauch von KI-Agenten, RAG-Systemen, APIs und externen Integrationen. KI setzen wir ein, um die Abdeckung unserer Tests zu erweitern. Die abschließende Bewertung und alle sicherheitsrelevanten Entscheidungen treffen jedoch stets unsere erfahrenen Ethical Hacker.

Das Ergebnis ist ein detaillierter Bericht mit allen identifizierten Schwachstellen, ihrer Kritikalität, ihren geschäftlichen Auswirkungen sowie konkreten Empfehlungen zur Behebung. Der Bericht enthält außerdem eine Priorisierung aller Erkenntnisse, damit die kritischsten Risiken zuerst behoben werden können.

Nach der Behebung der identifizierten Schwachstellen überprüfen wir die Wirksamkeit der umgesetzten Maßnahmen und bestätigen, dass die Sicherheitsrisiken tatsächlich beseitigt wurden.

Warum Citadelo?

Finden Sie heraus, wo Ihre KI verwundbar ist

Für uns ist KI-Sicherheit keine eigenständige Disziplin, sondern die konsequente Weiterentwicklung unserer langjährigen Erfahrung im Bereich Penetration Testing. KI-Anwendungen verbinden Webanwendungen, APIs, Cloud-Umgebungen, Identitäten und Unternehmensdaten. Deshalb bringen wir unsere Expertise in den Bereichen Offensive Security, Red Teaming und Security Research gezielt in die Sicherheitsbewertung von KI-Systemen ein. Unsere Tests basieren auf bewährten Methoden und international anerkannten Sicherheitsframeworks. Sämtliche Ergebnisse werden dabei von erfahrenen Ethical Hackern überprüft.

Unsere Empfehlungen beruhen nicht auf Theorie, sondern auf praktischen Erfahrungen aus Penetrationstests. Die daraus gewonnenen Erkenntnisse veröffentlichen wir jährlich in unserem Ethical Hacking Report.