Dokument může ovládnout vaši AI. A vy si toho nemusíte všimnout

Představte si běžný pracovní den. Do AI asistenta nahrajete smlouvu od dodavatele a požádáte ho, aby označil riziková ustanovení. Během několika sekund dostanete přehlednou odpověď. Některé pasáže v ní však chybějí a jiné vyznívají mnohem příznivěji, než by měly. Problém nemusí být v tom, že AI smlouvě nerozuměla. Mohla pouze poslechnout instrukci, kterou do ní ukryl někdo jiný. Vy jste ji neviděli. AI ano.

Citlivá data vkládáme do AI bez přemýšlení

AI dnes shrnuje smlouvy, kontroluje nabídky, analyzuje tabulky a připravuje odpovědi na emaily. Spolu se zadáním však často dostává osobní údaje, interní směrnice, finanční výsledky, cenové nabídky, zdrojové kódy, komunikaci se zákazníky nebo připravované smlouvy. Uživatel vidí nástroj, který mu během několika sekund ušetří hodinu práce. Už méně přemýšlí nad tím, kam dokument odesílá, jak dlouho tam zůstane a kdo k němu může získat přístup.

To, jak poskytovatel AI se vstupy pracuje, závisí na konkrétní službě, typu účtu a jeho nastavení. Ne každý vložený dokument se automaticky používá k dalšímu trénování modelu. Firma by však měla vědět, kde se data zpracovávají, jak dlouho se uchovávají, kdo k nim může přistupovat a zda dokáže jejich používání kontrolovat. Pokud tyto odpovědi nezná, nemá pod kontrolou ani svá data.

Dokument už nemusí být pouze dokumentem

U tradičního softwaru se příkazy a data zpracovávají odděleně. Jazykový model však pracuje s textem, který může obsahovat původní zadání uživatele, systémová pravidla i obsah analyzovaného dokumentu. Hranici mezi údajem a pokynem proto nemusí vždy správně rozpoznat.

Pokud AI řeknete, aby shrnula smlouvu, měla by ji považovat pouze za zdroj informací. V textu se však může nacházet instrukce, která jí přikáže ignorovat původní zadání, zatajit určitou pasáž nebo změnit výslednou odpověď. Pokyn může být ukrytý v metadatech, neviditelné vrstvě dokumentu, obrázku nebo v textu, který splývá s pozadím. Člověk si ho nemusí všimnout. Pro AI je to stále obsah, který může vyhodnotit jako příkaz.

Útok, při kterém útočník nepotřebuje vaše heslo

Takový útok se nazývá nepřímý prompt injection. Útočník nemusí proniknout do firemní sítě ani získat přístup k AI asistentovi. Stačí, když připraví obsah, který mu později poskytne samotný uživatel.

Škodlivá instrukce může být vložena do smlouvy, životopisu, cenové nabídky, emailové přílohy, webové stránky nebo dokumentu uloženého v interní znalostní databázi. U multimodální AI může být součástí obrázku nebo jiného obsahu, který systém dokáže analyzovat. Útočník přitom ani nemusí vědět, kdo a kdy dokument otevře. Potřebuje pouze vytvořit obsah, který se s dostatečnou pravděpodobností dostane k AI.

Co může skrytý příkaz způsobit

Následky závisejí na tom, jaká data a oprávnění má AI k dispozici. Pokud pouze shrnuje jeden dokument, útočník může ovlivnit odpověď, zatajit nevýhodné ustanovení nebo zvýraznit informaci, která vyhovuje jemu. Pokud má AI přístup k interním dokumentům, emailům nebo databázím, může se pokusit vyhledat a zpřístupnit další citlivá data.

Ještě větší riziko vzniká u AI agentů, kteří mohou používat firemní nástroje. Zmanipulovaná AI pak nemusí pouze vytvořit nesprávný text. Může připravit nebo odeslat zprávu, změnit záznam v systému, otevřít nebezpečný odkaz nebo provést jinou operaci jménem uživatele. Čím více dat a oprávnění AI dostane, tím větší prostor poskytuje útočníkovi.

Organizace Open Worldwide Application Security Project, která vytváří metodiky a doporučení pro bezpečnost aplikací, označuje prompt injection za jedno z hlavních rizik při používání LLM. Úspěšný útok může vést k úniku informací, manipulaci výsledků i zneužití funkcí připojených systémů.

Ne každá AI představuje stejné riziko

Izolovaný AI nástroj, který zpracuje jeden dokument a nemá přístup k dalším systémům, představuje menší riziko. Stále může vytvořit zmanipulovanou odpověď nebo zpracovat data nevhodným způsobem, jeho možnosti jsou však omezené.

Riziko výrazně roste, pokud AI dokáže vyhledávat v interních dokumentech, číst emaily, pracovat s údaji zákazníků nebo provádět operace. AI agent s přístupem k firemním systémům není pouze chytřejší chatbot. Z pohledu bezpečnosti jde o dalšího uživatele, kterému je třeba nastavit oprávnění, kontrolovat jeho činnost a omezit rozsah možných škod.

Jedna věta v systémovém promptu nestačí

Jednoduchou obranou může být systémová instrukce, aby AI ignorovala pokyny vložené v dokumentech a nikdy nezveřejňovala citlivá data. Takové pravidlo může pomoci, nepředstavuje však spolehlivou bezpečnostní hranici. Útočník může měnit formulaci, jazyk, strukturu nebo umístění svého pokynu a zkoušet, kdy mu model začne dávat přednost.

V současnosti neexistuje univerzální ochrana, která by dokázala zastavit každý prompt injection útok. Organizace proto musí počítat také s možností, že škodlivá instrukce ochrannými mechanismy projde. Důležité je omezit data, ke kterým má AI přístup, i operace, které může provést.

Jak snížit riziko

AI by neměla automaticky získat stejná oprávnění jako uživatel. Pokud má dokumenty pouze analyzovat, nepotřebuje je měnit, mazat ani odesílat. Pokud připravuje návrh emailu, neměla by ho bez potvrzení uživatele také odeslat. Citlivé operace musí zůstat pod kontrolou člověka.

Externí dokument zároveň nelze považovat za bezpečný pouze proto, že neobsahuje virus. Pro AI může být nebezpečná i obyčejná věta. Organizace proto potřebuje kontrolovat, jaká data AI zpracovává, ke kterým nástrojům přistupuje a zda se nepokouší provést operaci, která nesouvisí s původním zadáním.

Důležité je také pravidelné bezpečnostní testování. Funkční test ověří, zda AI dokáže smlouvu správně shrnout. Bezpečnostní test zjišťuje, zda ji lze přimět k zatajení informací, prozrazení citlivých údajů nebo zneužití připojeného systému.

Zakázat AI problém nevyřeší

Pokud firma AI zakáže, ale zaměstnanci ji považují za užitečnou, část z nich ji bude používat dál prostřednictvím soukromých účtů a bez vědomí bezpečnostního týmu. Vzniká tak shadow AI, tedy používání neschválených AI nástrojů mimo kontrolu organizace.

Lepším řešením je poskytnout zaměstnancům schválené nástroje a jasně určit, která data mohou zpracovávat, která je třeba anonymizovat a která do externího systému nepatří. Obecný zákaz vkládat citlivá data nestačí. Zaměstnanec musí vědět, zda mezi ně patří také smlouva, životopis, cenová nabídka nebo zápis ze schůzky.

Kdo ve skutečnosti řídí vaši AI

AI může řídit uživatel, který jí zadal úkol. Mohou ji usměrňovat pravidla nastavená vývojářem. V nedostatečně zabezpečené aplikaci však její chování může ovlivnit také autor dokumentu, který právě zpracovává.

Umělou inteligenci proto není třeba přestat používat. Organizace však musí vědět, jaká data jí poskytuje, jaký obsah jí dovolí načíst a co všechno může AI provést jménem uživatele.

Dokument totiž už nemusí obsahovat pouze informace. Může obsahovat také příkaz.

Dokáže vaše AI odolat skrytým instrukcím?

V Citadelo testujeme bezpečnost AI a LLM aplikací včetně odolnosti proti prompt injection útokům, úniku citlivých dat a zneužití připojených nástrojů.