Dokument môže ovládnuť vašu AI. A vy si to nemusíte všimnúť

Predstavte si bežný pracovný deň. Do AI asistenta nahráte zmluvu od dodávateľa a požiadate ho, aby označil rizikové ustanovenia. O niekoľko sekúnd dostanete prehľadnú odpoveď. Niektoré pasáže však v nej chýbajú a iné vyznievajú oveľa priaznivejšie, než by mali. Problém nemusí byť v tom, že AI zmluve nerozumela. Mohla iba poslúchnuť inštrukciu, ktorú do nej ukryl niekto iný. Vy ste ju nevideli. AI áno.

Citlivé údaje vkladáme do AI bez premýšľania

AI dnes sumarizuje zmluvy, kontroluje ponuky, analyzuje tabuľky a pripravuje odpovede na emaily. Spolu so zadaním však často dostáva osobné údaje, interné smernice, finančné výsledky, cenové ponuky, zdrojové kódy, komunikáciu so zákazníkmi či pripravované zmluvy. Používateľ vidí nástroj, ktorý mu za pár sekúnd ušetrí hodinu práce. Už menej premýšľa nad tým, kam dokument odosiela, ako dlho tam zostane a kto k nemu môže získať prístup.

To, ako poskytovateľ AI so vstupmi pracuje, závisí od konkrétnej služby, typu účtu a jeho nastavení. Nie každý vložený dokument sa automaticky používa na ďalšie trénovanie modelu. Firma by však mala vedieť, kde sa údaje spracúvajú, ako dlho sa uchovávajú, kto k nim môže pristupovať a či dokáže ich používanie kontrolovať. Ak tieto odpovede nepozná, nemá pod kontrolou ani svoje dáta.

Dokument už nemusí byť iba dokumentom

Pri tradičnom softvéri sa príkazy a údaje spracúvajú oddelene. Jazykový model však pracuje s textom, ktorý môže obsahovať pôvodné zadanie používateľa, systémové pravidlá aj obsah analyzovaného dokumentu. Hranicu medzi údajom a pokynom preto nemusí vždy správne rozpoznať.

Ak AI poviete, aby zhrnula zmluvu, mala by ju považovať iba za zdroj informácií. V texte sa však môže nachádzať inštrukcia, ktorá jej prikáže ignorovať pôvodné zadanie, zatajiť určitú pasáž alebo zmeniť výslednú odpoveď. Pokyn môže byť ukrytý v metadátach, neviditeľnej vrstve dokumentu, obrázku alebo v texte, ktorý splýva s pozadím. Človek si ho nemusí všimnúť. Pre AI je to stále obsah, ktorý môže vyhodnotiť ako príkaz.

Útok, pri ktorom útočník nepotrebuje vaše heslo

Takýto útok sa nazýva nepriamy prompt injection. Útočník nemusí preniknúť do firemnej siete ani získať prístup k AI asistentovi. Stačí, ak pripraví obsah, ktorý mu neskôr poskytne samotný používateľ.

Škodlivá inštrukcia môže byť vložená do zmluvy, životopisu, cenovej ponuky, emailovej prílohy, webovej stránky alebo dokumentu uloženého v internej znalostnej databáze. Pri multimodálnej AI môže byť súčasťou obrázka alebo iného obsahu, ktorý systém dokáže analyzovať. Útočník pritom ani nemusí vedieť, kto a kedy dokument otvorí. Potrebuje iba vytvoriť obsah, ktorý sa s dostatočnou pravdepodobnosťou dostane k AI.

Čo môže skrytý príkaz spôsobiť

Následky závisia od toho, aké údaje a oprávnenia má AI k dispozícii. Ak iba sumarizuje jeden dokument, útočník môže ovplyvniť odpoveď, zatajiť nevýhodné ustanovenie alebo zvýrazniť informáciu, ktorá vyhovuje jemu. Ak má AI prístup k interným dokumentom, emailom alebo databázam, môže sa pokúsiť vyhľadať a sprístupniť ďalšie citlivé údaje.

Ešte väčšie riziko vzniká pri AI agentoch, ktoré môžu používať firemné nástroje. Zmanipulovaná AI potom nemusí iba vytvoriť nesprávny text. Môže pripraviť alebo odoslať správu, zmeniť záznam v systéme, otvoriť nebezpečný odkaz alebo vykonať inú operáciu v mene používateľa. Čím viac údajov a oprávnení AI dostane, tým väčší priestor poskytuje útočníkovi.

Organizácia Open Worldwide Application Security Project, ktorá vytvára metodiky a odporúčania pre bezpečnosť aplikácií, označuje prompt injection za jedno z hlavných rizík pri používaní LLM. Úspešný útok môže viesť k úniku informácií, manipulácii výsledkov aj zneužitiu funkcií pripojených systémov.

Nie každá AI predstavuje rovnaké riziko

Izolovaný AI nástroj, ktorý spracuje jeden dokument a nemá prístup k ďalším systémom, predstavuje menšie riziko. Stále môže vytvoriť zmanipulovanú odpoveď alebo spracovať údaje nevhodným spôsobom, no jeho možnosti sú obmedzené.

Riziko výrazne rastie, keď AI dokáže vyhľadávať v interných dokumentoch, čítať emaily, pracovať s údajmi zákazníkov alebo vykonávať operácie. AI agent s prístupom k firemným systémom nie je iba múdrejší chatbot. Z pohľadu bezpečnosti je to ďalší používateľ, ktorému treba nastaviť oprávnenia, kontrolovať jeho činnosť a obmedziť rozsah možných škôd.

Jedna veta v systémovom prompte nestačí

Jednoduchou obranou môže byť systémová inštrukcia, aby AI ignorovala pokyny vložené v dokumentoch a nikdy nezverejňovala citlivé údaje. Takéto pravidlo môže pomôcť, ale nepredstavuje spoľahlivú bezpečnostnú hranicu. Útočník môže meniť formuláciu, jazyk, štruktúru alebo umiestnenie svojho pokynu a skúšať, kedy mu model začne dávať prednosť.

V súčasnosti neexistuje univerzálna ochrana, ktorá by dokázala zastaviť každý prompt injection útok. Organizácia preto musí počítať aj s možnosťou, že škodlivá inštrukcia cez ochranné mechanizmy prejde. Dôležité je obmedziť údaje, ku ktorým má AI prístup, aj operácie, ktoré môže vykonať.

Ako zmenšiť riziko

AI by nemala automaticky získať rovnaké oprávnenia ako používateľ. Ak má dokumenty iba analyzovať, nepotrebuje ich meniť, mazať ani odosielať. Ak pripravuje návrh emailu, nemala by ho bez potvrdenia používateľa aj odoslať. Citlivé operácie musia zostať pod kontrolou človeka.

Externý dokument zároveň nemožno považovať za bezpečný iba preto, že neobsahuje vírus. Pre AI môže byť nebezpečná aj obyčajná veta. Organizácia preto potrebuje kontrolovať, aké dáta AI spracúva, ku ktorým nástrojom pristupuje a či sa nepokúša vykonať operáciu, ktorá nesúvisí s pôvodným zadaním.

Dôležité je aj pravidelné bezpečnostné testovanie. Funkčný test overí, či AI dokáže zmluvu správne zhrnúť. Bezpečnostný test zisťuje, či ju možno prinútiť zatajiť informácie, prezradiť citlivé údaje alebo zneužiť pripojený systém.

Zakázať AI problém nevyrieši

Ak firma AI zakáže, ale zamestnanci ju považujú za užitočnú, časť z nich ju bude používať ďalej prostredníctvom súkromných účtov a bez vedomia bezpečnostného tímu. Vzniká tak shadow AI, teda používanie neschválených AI nástrojov mimo kontroly organizácie.

Lepším riešením je poskytnúť zamestnancom schválené nástroje a jasne určiť, ktoré údaje môžu spracúvať, ktoré treba anonymizovať a ktoré do externého systému nepatria. Všeobecný zákaz vkladať citlivé údaje nestačí. Zamestnanec musí vedieť, či medzi ne patrí aj zmluva, životopis, cenová ponuka alebo zápisnica zo stretnutia.

Kto v skutočnosti riadi vašu AI

AI môže riadiť používateľ, ktorý jej zadal úlohu. Môžu ju usmerňovať pravidlá nastavené vývojárom. V nedostatočne zabezpečenej aplikácii však jej správanie môže ovplyvniť aj autor dokumentu, ktorý práve spracúva.

Umelú inteligenciu preto netreba prestať používať. Organizácia však musí vedieť, aké údaje jej poskytuje, aký obsah jej dovolí načítať a čo všetko môže AI vykonať v mene používateľa.

Pretože dokument už nemusí obsahovať iba informácie. Môže obsahovať aj príkaz.

Dokáže vaša AI odolať skrytým inštrukciám?

V Citadelo testujeme bezpečnosť AI a LLM aplikácií vrátane odolnosti proti prompt injection útokom, úniku citlivých údajov a zneužitiu pripojených nástrojov.