Bezpečnostní testování AI a LLM: když se váš AI asistent stane „confused deputy“

Poptávka po bezpečnostním testování AI a velkých jazykových modelů (LLM) se během roku 2025 zdvojnásobila. Rizika jsou dnes jasně pojmenována v dokumentu OWASP Top 10 for LLM Applications 2025. Patří mezi ně zejména Prompt Injection, únik citlivých údajů, nadměrná oprávnění AI agentů (Excessive Agency), únik systémových promptů a slabiny v databázích pro Retrieval-Augmented Generation (RAG).

Pro bankovní sektor je přitom nejzávažnějším rizikem právě Excessive Agency. Proč, dobře ukázal jeden z našich projektů v roce 2025. Testovali jsme AI asistenty zabudované do mobilní aplikace jisté finanční instituce. Měli zákazníkům pomáhat při běžných operacích, vysvětlovat služby a navigovat je v aplikaci, vývojáři jim však zároveň umožnili některé operace také provádět. Když zákazník požádal o nastavení pravidelného převodu, asistent ho nejen navedl na správnou obrazovku, ale dokázal převod i sám vytvořit. A právě toto pohodlí se stalo bezpečnostním rizikem.

Samotná zranitelnost typu XSS obvykle k provedení bankovního převodu nestačí, protože transakce chrání další mechanismy, potvrzení uživatele či anti-CSRF tokeny. XSS a další aplikační slabiny proto prověřujeme také při penetračním testování webových aplikací a API. Když se však XSS spojí s AI agentem, který na základě podvržené instrukce provede operaci jménem uživatele, asistent se mění v tzv. confused deputy – komponentu, která nevědomky obejde ochrany navržené právě pro tyto transakce. Zranitelnost zde nespočívá v chybě paměti ani v klasické programátorské chybě, ale v ochotě modelu pomáhat.

Pokud má tentýž agent oprávnění přidat příjemce platby, změnit e-mailovou adresu pro zasílání oznámení nebo resetovat bezpečnostní otázky, po úspěšném Prompt Injection se každá z těchto funkcí může stát nástrojem podvodu.

Nejde o ojedinělý problém. Stejný princip ve velkém ukázala zranitelnost EchoLeak (CVE-2025-32711), zero-click Prompt Injection, který proměnil Microsoft 365 Copilot v kanál pro nepozorovaný únik dat prostřednictvím jediného speciálně připraveného e-mailu. Také proto OWASP během roku 2025 spustil samostatný projekt zaměřený na bezpečnost agentních AI systémů: agenti, kteří dokážou jednat, používat externí nástroje a řetězit operace, mění teoretické riziko Excessive Agency v reálné finanční škody.

Co z toho vyplývá pro CISO?

Rizika AI nejsou jednotná. Interní Copilot napojený na firemní dokumenty představuje především hrozbu úniku dat, jak ukázal případ EchoLeak. Prioritou by zde mělo být důsledné omezení oprávnění a kontrola výstupů modelu. Zákazničtí asistenti a agentní systémy, které dokážou jednat, selhávají jinak: prostřednictvím nadměrných oprávnění a zneužití dostupných nástrojů. Vyžadují proto sandboxing, princip nejnižších oprávnění a zapojení člověka do rozhodovacího procesu při každé významné operaci. V obou případech však platí totéž: AI je produkční útočná plocha, kterou je třeba pravidelně testovat, nikoli pouze jednou zkontrolovat během vývoje. Pro SOC to znamená monitorovat prompty, volání nástrojů i odchozí data stejně důsledně jako aktivitu kteréhokoli privilegovaného servisního účtu.

Je tedy bezpečnost AI jen hype, nebo nový standard? Podle našich dat ani jedno. Je to nová produkční vrstva, která zde zůstane. Firmy ji dnes nasazují rychleji, než ji stíhají testovat, a útočníci to vědí. V příštích dvou letech nebude rozhodující, zda AI zavedete, ale zda ji budete testovat a monitorovat stejně přísně jako kterýkoli jiný produkční systém.

Víte, co všechno dokáže váš AI asistent provést jménem uživatele?

Prověříme odolnost vašich chatbotů, AI agentů, RAG systémů a LLM aplikací vůči Prompt Injection, úniku citlivých údajů, zneužití nástrojů i nadměrným oprávněním.