Všechny články

3 září 2026 / 17 minut čtení

OWASP LLM Top 10 2026: Co se skutečně změnilo?

Začátkem srpna zveřejnila organizace OWASP nový žebříček OWASP Top 10 pro LLM aplikace. Dokument se rozsahem přibližně ztrojnásobil a nově zohledňuje také údaje ze skutečných bezpečnostních incidentů.


Mezi nejdůležitější změny, které si zaslouží pozornost, patří posun AI agentů mezi tři největší rizika, výrazný vzestup neomezené spotřeby zdrojů a jasné konstatování OWASP, že prompt injection nelze spolehlivě zabránit. Systémy proto musí být navrhovány s předpokladem, že model bude dříve či později oklamán. Níže najdete přímé srovnání žebříčků OWASP LLM Top 10 pro roky 2026 a 2025.

Nová verze žebříčku vychází z údajů o 7 714 skutečných incidentech zaznamenaných ve veřejných databázích zranitelností. Z nich bylo 6 639 popsáno dostatečně podrobně na to, aby je bylo možné klasifikovat. Hlasování komunity zůstává nejdůležitějším faktorem, údaje o incidentech však nyní tvoří 25 % celkového hodnocení. Dokument se zároveň rozsahem přibližně ztrojnásobil, ze 46 na 122 stran.

Porovnání OWASP LLM Top 10 2026 a 2025

Pořadí 2026 Riziko Změna oproti roku 2025
1 Prompt Injection Beze změny
2 Zpřístupnění citlivých informací Beze změny
3 Nadměrná autonomie ↑ Posun z 6. místa
4 Dodavatelský řetězec ↓ Pokles ze 3. místa
5 Manipulace s daty a modely ↓ Pokles ze 4. místa
6 Neomezená spotřeba zdrojů ↑ Posun z 10. místa
7 Dezinformace ↑ Posun z 9. místa
8 Odhalení skrytého kontextu Přejmenováno ze „System Prompt Leakage“ ↓ Pokles ze 7. místa
9 Slabiny vektorů a embeddingů ↓ Pokles z 8. místa
10 Nesprávné zpracování výstupů ↓ Pokles z 5. místa

Prompt injection: prevence už nestačí

Prompt injection znamená, že je AI přinucena řídit se škodlivými instrukcemi, které změní chování modelu. Může k tomu dojít přímo prostřednictvím vstupu uživatele, nahráním škodlivého souboru nebo tím, že model načte škodlivý obsah z webu či jiného místa kontrolovaného útočníkem.

V současnosti neexistuje žádná spolehlivá prevence. Nový žebříček OWASP proto doporučuje navrhovat systémy kolem AI modelu s předpokladem, že model bude dříve či později oklamán. Když k tomu dojde, musí být dopad omezen tím, co model skutečně dokáže udělat a kam mohou jeho výstupy proniknout. To však neznamená, že by se měla sanitizace a preventivní opatření odstranit. Pouze se v seznamu priorit posouvají níže.

Využívání prompt injection v produkčních prostředích je stále vzácnější. Pokud bychom vycházeli pouze z počtu incidentů, prompt injection by z žebříčku Top 10 zcela vypadl. Je to především proto, že se týmy intenzivně zaměřují na prevenci a věnují jí značné zdroje. OWASP tento jev označuje jako „defense effect“. Na prvním místě zůstalo prompt injection především díky názoru odborníků.

AI agenti nyní patří mezi tři největší rizika

O nadměrné autonomii mluvíme tehdy, když agent dokáže dělat více, než skutečně potřebuje ke splnění své úlohy. Má například příliš mnoho nástrojů, příliš široký přístup nebo před jeho jednáním neprobíhá žádná kontrola.

Organizace přecházejí od jednoduchých chatbotů, kteří pouze odpovídají textem, ke komplexnějším agentním LLM systémům, které aktivně pracují s nástroji. Posun nadměrné autonomie v žebříčku tuto změnu odráží. Názory odborníků i záznamy o incidentech se shodují, že právě zde dochází ke skutečným škodám.

Lze to ilustrovat na příkladu nástroje pro shrnutí e-mailů. Takový nástroj potřebuje pouze funkci pro čtení e-mailů, přičemž oprávnění by měl převzít od uživatele, který požadavek zadal. Pokud má však také oprávnění samostatně odesílat e-maily, jde o nadměrnou autonomii. Pokud by byl tento nástroj zranitelný vůči prompt injection, mohl by útočník:

  • odeslat e-mail, protože nástroj má více funkcí, než potřebuje
  • odeslat e-mail jménem kteréhokoli uživatele, pokud nástroj není spuštěn v kontextu konkrétního uživatele
  • odeslat e-mail bez potvrzení uživatele, protože člověk není zapojen do rozhodovacího procesu

Doporučená opatření OWASP se oproti roku 2025 výrazně nezměnila, protože hlavní problémy zůstávají stejné: nadměrná funkcionalita, příliš široká oprávnění a nadměrná autonomie.

OWASP doporučuje omezit nejen počet nástrojů, ke kterým mají LLM agenti přístup, ale také minimalizovat funkce, které jednotlivé nástroje poskytují. Oprávnění nástrojů by měla být omezena a nástroje by se měly spouštět v kontextu uživatele, nikoli agenta.

Otevřeným nástrojům, které umožňují například spouštění libovolného kódu, příkazů shellu nebo neomezené načítání URL adres, je vhodné se zcela vyhnout. U úkonů s významným dopadem OWASP doporučuje ponechat člověka v rozhodovacím procesu.

Zneužití AI se může proměnit ve skutečný účet

Další výraznou změnou je neomezená spotřeba zdrojů, která se posunula z 10. na 6. místo. Jde o největší posun ze všech kategorií v žebříčku.

Neomezená spotřeba zdrojů umožňuje útočníkům způsobit dlouhodobě neudržitelné finanční náklady, zatímco jejich vlastní náklady zůstávají minimální. Riziko dále zvyšuje rostoucí využívání reasoning a thinking modelů, multimodálních modelů s výrazně vyššími výpočetními náklady na jeden požadavek a agentních architektur, ve kterých může jediný požadavek spustit několik navazujících operací.

Tradiční omezení počtu požadavků zde samo o sobě nestačí. Problém nespočívá pouze ve velikosti nebo počtu požadavků. Je nutné zavést řízení nákladů zohledňující počet tokenů, pevné výdajové limity a ochranné mechanismy na úrovni agentů, které omezí hloubku rekurze, opakující se smyčky a větvení agentních procesů.

Modely jsou uváděny v omyl jinými modely

Dezinformace se už netýkají pouze lidí. V agentních systémech výstupy modelů řídí nástroje, generují kód a koordinují spolupráci několika agentů. Doporučená opatření proto byla odpovídajícím způsobem rozšířena.

„Ground Claims Before Action“ znamená, že výstupy musí být před provedením jakékoli akce podloženy autoritativními a aktuálními zdroji.

„Claim-Check-Act Pattern“ znamená, že generování a vykonávání akcí musí být oddělené a jednotlivá tvrzení musí být před provedením akce ověřena.

Zpracování výstupů kleslo na konec žebříčku, citlivé informace zůstávají na 2. místě

Za zmínku stojí ještě dvě položky. Zpřístupnění citlivých informací si udrželo 2. místo. OWASP ho označuje za kategorii, u níž panuje nejvyšší míra jistoty. Jde o jednu z mála položek na předních místech, u které se hlasování komunity plně shoduje s údaji o skutečných incidentech.

Závažnost se nyní posuzuje podle toho, co se příjemce může ze zpřístupněných informací skutečně dozvědět, nikoli podle toho, zda zpřístupněný text vypadá jako běžný jazyk.

Nesprávné zpracování výstupů zaznamenalo největší pokles ze všech kategorií. Z 5. místa se propadlo na 10. místo.

Co můžete udělat už nyní: checklist OWASP LLM Top 10

Nemusíte čekat na komplexní bezpečnostní posouzení, abyste mohli začít odstraňovat největší nedostatky. Tento checklist OWASP LLM Top 10 shrnuje změny, které jsou v žebříčku pro rok 2026 nejdůležitější:

  • Předpokládejte, že prompt injection bude úspěšný. Zmapujte všechna místa, na kterých může váš model přijít do kontaktu s nedůvěryhodným obsahem. Patří sem vstupy uživatelů, nahrané soubory, webové stránky, RAG dokumenty a e-maily. Následně zvažte nejhorší možný dopad, pokud by tento obsah obsahoval škodlivé instrukce.
  • Zkontrolujte nástroje a oprávnění svých agentů. U každého nástroje se zeptejte, zda ho agent skutečně potřebuje a zda nástroj neposkytuje více funkcí, než daná úloha vyžaduje. Odstraňte vše, co není nezbytné.
  • Zajistěte, aby byly nástroje spouštěny v kontextu uživatele, nikoli agenta. Agent by nikdy neměl být schopen udělat více než člověk, který mu úlohu zadává.
  • U úkonů s významným dopadem ponechte člověka v rozhodovacím procesu. Odesílání nebo mazání obsahu, provádění plateb, nasazování kódu a změny oprávnění by měly vyžadovat potvrzení člověkem.
  • Vyhněte se otevřeným nástrojům. Spouštění libovolného kódu a neomezené načítání URL adres představují krátkou cestu od oklamaného modelu ke kritické zranitelnosti.
  • Nastavte řízení nákladů podle počtu tokenů a pevné výdajové limity. Přidejte ochranné mechanismy, které omezí hloubku rekurze, smyčky a větvení agentních procesů.
  • Prověřte, jaké informace může model zpřístupnit. Riziko citlivých informací posuzujte podle toho, co se příjemce může skutečně dozvědět, včetně informací ze systémových promptů a skrytého kontextu, nikoli podle toho, jak výstup vypadá.
  • Považujte výstupy modelu za nedůvěryhodné vstupy. Vše, co model vrátí, před předáním do prohlížeče, databáze, shellu nebo jiného systému sanitizujte a ověřte.
  • Testujte systém způsobem, jakým by ho testoval útočník. Nechte svého AI asistenta nebo agenta projít penetračním testováním podle OWASP LLM Top 10 2026.

Zdroj: https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/

Chcete nechat svou AI otestovat podle nejnovější metodiky OWASP Top 10?

Svět AI a LLM se rychle vyvíjí. Pokud vaše organizace nasazuje AI asistenty nebo agenty, vyplatí se otestovat je stejně jako kterýkoli jiný systém se skutečnými oprávněními, prostřednictvím penetračního testování a red teamingu.

Citadelo testuje bezpečnost AI a LLM aplikací a vždy zohledňuje nejnovější hrozby a rizika.

logo

Přihlaste se k odběru našeho newsletteru a získejte všechny důležité novinky v oblasti kybernetické bezpečnosti a etického hackování.

© 2024 citadelo AG. Všechna práva vyhrazena.

facebooklinkedinxyoutube