Bezpečnostné testovanie AI a LLM: keď sa váš AI asistent stane „confused deputy“

Dopyt po bezpečnostnom testovaní AI a veľkých jazykových modelov (LLM) sa počas roka 2025 zdvojnásobil. Riziká sú dnes jasne pomenované v dokumente OWASP Top 10 for LLM Applications 2025. Patria k nim najmä Prompt Injection, únik citlivých údajov, nadmerné oprávnenia AI agentov (Excessive Agency), únik systémových promptov a slabiny v databázach pre Retrieval-Augmented Generation (RAG).

Pre bankový sektor je pritom najzávažnejším rizikom práve Excessive Agency. Prečo, dobre ukázal jeden z našich projektov v roku 2025. Testovali sme AI asistentov zabudovaných do mobilnej aplikácie istej finančnej inštitúcie. Mali zákazníkom pomáhať pri bežných operáciách, vysvetľovať služby a navigovať ich v aplikácii, no vývojári im zároveň dali možnosť určité operácie aj vykonať. Keď zákazník požiadal o nastavenie pravidelného prevodu, asistent ho nielen naviedol na správnu obrazovku, ale prevod dokázal aj sám vytvoriť. A práve táto pohodlnosť sa stala bezpečnostným rizikom.

Samotná zraniteľnosť typu XSS zvyčajne na bankový prevod nestačí, pretože transakcie chránia ďalšie mechanizmy, potvrdenia používateľa či anti-CSRF tokeny. XSS a ďalšie aplikačné slabiny preto preverujeme aj pri penetračnom testovaní webových aplikácií a API. Keď sa však XSS spojí s AI agentom, ktorý na základe podvrhnutej inštrukcie vykoná operáciu v mene používateľa, asistent sa mení na tzv. confused deputy – komponent, ktorý nevedomky obíde ochrany navrhnuté práve pre tieto transakcie. Zraniteľnosť tu nespočíva v chybe pamäte ani v klasickej programátorskej chybe, ale v ochote modelu pomáhať.

Ak má ten istý agent oprávnenie pridať príjemcu platby, zmeniť notifikačnú e-mailovú adresu alebo resetovať bezpečnostné otázky, po úspešnom Prompt Injection sa každá z týchto funkcií môže stať nástrojom podvodu.

Nie je to ojedinelý problém. Rovnaký princíp vo veľkom ukázala zraniteľnosť EchoLeak (CVE-2025-32711), zero-click Prompt Injection, ktorý premenil Microsoft 365 Copilot na kanál na tichý únik dát cez jediný špeciálne pripravený e-mail. Aj preto OWASP počas roka 2025 spustil samostatný projekt pre bezpečnosť agentických AI systémov: agenti, ktorí vedia konať, používať externé nástroje a reťaziť operácie, menia teoretické riziko Excessive Agency na reálne finančné škody.

Čo z toho vyplýva pre CISO?

Riziká AI nie sú jednotné. Interný Copilot napojený na firemné dokumenty je predovšetkým hrozbou úniku dát, ako ukázal prípad EchoLeak. Prioritou tu má byť dôsledné obmedzenie oprávnení a kontrola výstupov modelu. Zákaznícki asistenti a agentické systémy, ktoré vedia konať, zlyhávajú inak: cez nadmerné oprávnenia a zneužitie dostupných nástrojov. Vyžadujú preto sandboxing, princíp najnižších oprávnení a človeka v rozhodovacom procese pri každej významnej operácii. V oboch prípadoch však platí to isté: AI je produkčná útočná plocha, ktorú treba pravidelne testovať, nie odškrtnúť raz počas vývoja. Pre SOC to znamená monitorovať prompty, volania nástrojov aj odchádzajúce dáta rovnako dôsledne ako ktorýkoľvek privilegovaný servisný účet.

Je teda AI bezpečnosť hype alebo nový štandard? Podľa našich dát ani jedno. Je to nová produkčná vrstva, ktorá tu zostane. Firmy ju dnes nasadzujú rýchlejšie, než ju stíhajú testovať, a útočníci to vedia. Najbližšie dva roky nerozhodne, či AI zavediete, ale či ju budete testovať a monitorovať rovnako prísne ako ktorýkoľvek iný produkčný systém.

Viete, čo všetko dokáže váš AI asistent vykonať v mene používateľa?

Preveríme odolnosť vašich chatbotov, AI agentov, RAG systémov a LLM aplikácií proti Prompt Injection, úniku citlivých údajov, zneužitiu nástrojov aj nadmerným oprávneniam.