Všetky články

3 september 2026 / 17 minút čítania

OWASP LLM Top 10 2026: Čo sa skutočne zmenilo?

Začiatkom augusta zverejnila organizácia OWASP nový rebríček OWASP Top 10 pre LLM aplikácie. Dokument približne strojnásobil svoj rozsah a po novom zohľadňuje aj údaje zo skutočných bezpečnostných incidentov.


Medzi najdôležitejšie zmeny, ktoré si zaslúžia pozornosť, patrí posun AI agentov medzi tri najväčšie riziká, výrazný vzostup neobmedzenej spotreby zdrojov a jasné konštatovanie OWASP, že prompt injection nemožno spoľahlivo zabrániť. Systémy preto musia byť navrhované s predpokladom, že model bude skôr či neskôr oklamaný. Nižšie nájdete priame porovnanie rebríčkov OWASP LLM Top 10 pre roky 2026 a 2025.

Nová verzia rebríčka vychádza z údajov o 7 714 skutočných incidentoch zaznamenaných vo verejných databázach zraniteľností. Z nich bolo 6 639 opísaných dostatočne podrobne na to, aby ich bolo možné klasifikovať. Hlasovanie komunity zostáva najdôležitejším faktorom, údaje o incidentoch však po novom tvoria 25 % celkového hodnotenia. Dokument zároveň približne strojnásobil svoj rozsah, zo 46 na 122 strán.

Porovnanie OWASP LLM Top 10 2026 a 2025

Poradie 2026 Riziko Zmena oproti roku 2025
1 Prompt Injection Bez zmeny
2 Sprístupnenie citlivých informácií Bez zmeny
3 Nadmerná autonómia ↑ Posun zo 6. miesta
4 Dodávateľský reťazec ↓ Pokles z 3. miesta
5 Manipulácia s dátami a modelmi ↓ Pokles zo 4. miesta
6 Neobmedzená spotreba zdrojov ↑ Posun z 10. miesta
7 Dezinformácie ↑ Posun z 9. miesta
8 Odhalenie skrytého kontextu Premenované zo „System Prompt Leakage“ ↓ Pokles zo 7. miesta
9 Slabiny vektorov a embeddingov ↓ Pokles z 8. miesta
10 Nesprávne spracovanie výstupov ↓ Pokles z 5. miesta

Prompt injection: prevencia už nestačí

Prompt injection znamená, že je AI prinútená riadiť sa škodlivými inštrukciami, ktoré zmenia správanie modelu. Môže k tomu dôjsť priamo prostredníctvom vstupu používateľa, nahraním škodlivého súboru alebo tým, že model načíta škodlivý obsah z webu či iného miesta kontrolovaného útočníkom.

V súčasnosti neexistuje žiadna spoľahlivá prevencia. Nový rebríček OWASP preto odporúča navrhovať systémy okolo AI modelu s predpokladom, že model bude skôr či neskôr oklamaný. Keď k tomu dôjde, dosah útoku musí byť obmedzený tým, čo model skutočne dokáže urobiť a kam sa môžu dostať jeho výstupy. To však neznamená, že by sa mali sanitizácia a preventívne opatrenia odstrániť. Iba sa v zozname priorít posúvajú nižšie.

Využívanie prompt injection v produkčných prostrediach je čoraz zriedkavejšie. Ak by sme vychádzali iba z počtu incidentov, prompt injection by z rebríčka Top 10 úplne vypadol. Je to najmä preto, že sa tímy intenzívne zameriavajú na prevenciu a venujú jej značné zdroje. OWASP tento jav označuje ako „defense effect“. Na prvom mieste zostal prompt injection predovšetkým vďaka názoru odborníkov.

AI agenti teraz patria medzi tri najväčšie riziká

O nadmernej autonómii hovoríme vtedy, keď agent dokáže robiť viac, než skutočne potrebuje na splnenie svojej úlohy. Má napríklad príliš veľa nástrojov, príliš široký prístup alebo pred jeho konaním neprebieha žiadna kontrola.

Organizácie prechádzajú od jednoduchých chatbotov, ktoré iba odpovedajú textom, ku komplexnejším agentným LLM systémom, ktoré aktívne pracujú s nástrojmi. Posun nadmernej autonómie v rebríčku odzrkadľuje túto zmenu. Názory odborníkov aj záznamy o incidentoch sa zhodujú, že práve tu dochádza ku skutočným škodám.

Možno to ilustrovať na príklade nástroja na sumarizáciu e-mailov. Takýto nástroj potrebuje iba funkciu na čítanie e-mailov, pričom oprávnenia by mal prevziať od používateľa, ktorý zadal požiadavku. Ak má však zároveň oprávnenie samostatne odosielať e-maily, ide o nadmernú autonómiu. Ak by bol tento nástroj zraniteľný voči prompt injection, útočník by mohol:

  • odoslať e-mail, pretože nástroj má viac funkcií, než potrebuje
  • odoslať e-mail v mene ktoréhokoľvek používateľa, ak nástroj nie je spustený v kontexte konkrétneho používateľa
  • odoslať e-mail bez potvrdenia používateľa, pretože človek nie je zapojený do rozhodovacieho procesu

Odporúčané opatrenia OWASP sa oproti roku 2025 výrazne nezmenili, pretože hlavné problémy zostávajú rovnaké: nadmerná funkcionalita, príliš široké oprávnenia a nadmerná autonómia.

OWASP odporúča obmedziť nielen počet nástrojov, ku ktorým majú LLM agenti prístup, ale aj minimalizovať funkcie, ktoré jednotlivé nástroje poskytujú. Oprávnenia nástrojov by mali byť obmedzené a nástroje by sa mali spúšťať v kontexte používateľa, nie agenta.

Otvoreným nástrojom, ktoré umožňujú napríklad spúšťanie ľubovoľného kódu, príkazov shellu alebo neobmedzené načítavanie URL adries, je vhodné sa úplne vyhnúť. Pri úkonoch s významným dosahom OWASP odporúča ponechať človeka v rozhodovacom procese.

Zneužitie AI sa môže premeniť na skutočný účet

Ďalšou výraznou zmenou je neobmedzená spotreba zdrojov, ktorá sa posunula z 10. na 6. miesto. Ide o najväčší posun zo všetkých kategórií v rebríčku.

Neobmedzená spotreba zdrojov umožňuje útočníkom spôsobiť dlhodobo neudržateľné finančné náklady, zatiaľ čo ich vlastné náklady zostávajú minimálne. Riziko ďalej zvyšuje rastúce využívanie reasoning a thinking modelov, multimodálnych modelov s výrazne vyššími výpočtovými nákladmi na jednu požiadavku a agentných architektúr, v ktorých môže jediná požiadavka spustiť viacero nadväzujúcich operácií.

Tradičné obmedzenie počtu požiadaviek tu samo osebe nestačí. Problém nespočíva iba vo veľkosti alebo počte požiadaviek. Je potrebné zaviesť riadenie nákladov zohľadňujúce počet tokenov, pevné výdavkové limity a ochranné mechanizmy na úrovni agentov, ktoré obmedzia hĺbku rekurzie, opakujúce sa slučky a vetvenie agentných procesov.

Modely sú uvádzané do omylu inými modelmi

Dezinformácie sa už netýkajú iba ľudí. V agentných systémoch výstupy modelov riadia nástroje, generujú kód a koordinujú spoluprácu viacerých agentov. Odporúčané opatrenia preto boli zodpovedajúcim spôsobom rozšírené.

„Ground Claims Before Action“ znamená, že výstupy musia byť pred vykonaním akejkoľvek akcie podložené autoritatívnymi a aktuálnymi zdrojmi.

„Claim-Check-Act Pattern“ znamená, že generovanie a vykonávanie akcií musia byť oddelené a jednotlivé tvrdenia sa musia pred uskutočnením akcie overiť.

Spracovanie výstupov kleslo na koniec rebríčka, citlivé informácie zostávajú na 2. mieste

Za zmienku stoja ešte dve položky. Sprístupnenie citlivých informácií si udržalo 2. miesto. OWASP ho označuje za kategóriu, pri ktorej panuje najvyššia miera istoty. Ide o jednu z mála položiek na popredných miestach, pri ktorej sa hlasovanie komunity úplne zhoduje s údajmi o skutočných incidentoch.

Závažnosť sa po novom posudzuje podľa toho, čo sa príjemca môže zo sprístupnených informácií skutočne dozvedieť, nie podľa toho, či sprístupnený text vyzerá ako bežný jazyk.

Nesprávne spracovanie výstupov zaznamenalo najväčší pokles zo všetkých kategórií. Z 5. miesta sa prepadlo na 10. miesto.

Čo môžete urobiť už teraz: checklist OWASP LLM Top 10

Nemusíte čakať na komplexné bezpečnostné posúdenie, aby ste mohli začať odstraňovať najväčšie nedostatky. Tento checklist OWASP LLM Top 10 sumarizuje zmeny, ktoré sú v rebríčku pre rok 2026 najdôležitejšie:

  • Predpokladajte, že prompt injection bude úspešný. Zmapujte všetky miesta, na ktorých môže váš model prísť do kontaktu s nedôveryhodným obsahom. Patria sem vstupy používateľov, nahrané súbory, webové stránky, RAG dokumenty a e-maily. Následne zvážte najhorší možný dosah, ak by tento obsah obsahoval škodlivé inštrukcie.
  • Skontrolujte nástroje a oprávnenia svojich agentov. Pri každom nástroji sa opýtajte, či ho agent skutočne potrebuje a či nástroj neposkytuje viac funkcií, než si daná úloha vyžaduje. Odstráňte všetko, čo nie je nevyhnutné.
  • Zaistite, aby sa nástroje spúšťali v kontexte používateľa, nie agenta. Agent by nikdy nemal byť schopný urobiť viac než človek, ktorý mu úlohu zadáva.
  • Pri úkonoch s významným dosahom ponechajte človeka v rozhodovacom procese. Odosielanie alebo mazanie obsahu, uskutočňovanie platieb, nasadzovanie kódu a zmeny oprávnení by mali vyžadovať potvrdenie človekom.
  • Vyhnite sa otvoreným nástrojom. Spúšťanie ľubovoľného kódu a neobmedzené načítavanie URL adries predstavujú krátku cestu od oklamaného modelu ku kritickej zraniteľnosti.
  • Nastavte riadenie nákladov podľa počtu tokenov a pevné výdavkové limity. Pridajte ochranné mechanizmy, ktoré obmedzia hĺbku rekurzie, slučky a vetvenie agentných procesov.
  • Preverte, aké informácie môže model sprístupniť. Riziko citlivých informácií posudzujte podľa toho, čo sa príjemca môže skutočne dozvedieť, vrátane informácií zo systémových promptov a skrytého kontextu, nie podľa toho, ako výstup vyzerá.
  • Považujte výstupy modelu za nedôveryhodné vstupy. Všetko, čo model vráti, pred odovzdaním do prehliadača, databázy, shellu alebo iného systému sanitizujte a overte.
  • Testujte systém spôsobom, akým by ho testoval útočník. Nechajte svojho AI asistenta alebo agenta prejsť penetračným testovaním podľa OWASP LLM Top 10 2026.

Zdroj: https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/

Chcete nechať svoju AI otestovať podľa najnovšej metodiky OWASP Top 10?

Svet AI a LLM sa rýchlo vyvíja. Ak vaša organizácia nasadzuje AI asistentov alebo agentov, oplatí sa ich otestovať rovnako ako ktorýkoľvek iný systém so skutočnými oprávneniami, prostredníctvom penetračného testovania a red teamingu.

Citadelo testuje bezpečnosť AI a LLM aplikácií a vždy zohľadňuje najnovšie hrozby a riziká.

logo

Prihláste sa k odberu nášho newslettera a získajte všetky dôležité novinky v oblasti kybernetickej bezpečnosti a etického hackovania.

© 2024 citadelo AG. Všetky práva vyhradené.

facebooklinkedinxyoutube