Lekce 17 - Bezpečnost AI workflow v Make - Prompt injection Nové
V minulé lekci, Generování odpovědí na recenze pomocí AI v Make, jsme si vytvořili pomocí vlastního AI promptu návrh odpovědi na zákaznickou recenzi.
V tomto tutoriálu kurzu AI automatizací a agentů pro firemní procesy se zaměříme na bezpečnost promptů v AI workflow v Make. Ukážeme si, jak mohou nedůvěryhodná vstupní data ovlivnit chování jazykového modelu a proč nestačí spoléhat pouze na správně napsané zadání.
Na praktickém scénáři společnosti EnergoSun s.r.o. otestujeme útok typu prompt injection. Vysvětlíme si jeho přímou a nepřímou podobu a následně upravíme náš prompt tak, aby model lépe rozlišoval mezi našimi instrukcemi a externími daty.
Při návrhu budeme vycházet také z doporučení organizace OWASP pro aplikace využívající jazykové modely.
Rizika vlastních promptů v AI workflow
Když pracovníkovi předáme instrukce a zároveň dokument od zákazníka, dokáže obvykle rozlišit, co je pracovní zadání a co pouze obsah dokumentu. Jazykový model takovou hranici nemusí vždy správně rozpoznat. Instrukce i vstupní data totiž zpracovává společně jako textový kontext.
V AI workflow proto musíme rozlišovat mezi důvěryhodnými instrukcemi, které určujeme my, a nedůvěryhodnými vstupy, které přicházejí zvenčí. Takovým vstupem může být například e-mail, zákaznická recenze, nahraný dokument nebo obsah webové stránky.
Problém nastane ve chvíli, kdy externí data obsahují text, který se snaží vystupovat jako nová instrukce pro AI. Model jej může nesprávně vyhodnotit jako pokyn a změnit své chování.
...konec náhledu článku...
Pokračuj dál
Došel jsi až sem a to je super! Věříme, že ti první lekce ukázaly něco nového a užitečného.
Chceš v kurzu pokračovat? Přejdi do prémiové sekce.
roční PŘEDPLATNÉ
1 082 Kč
měsíčně, placeno ročně (12 984 Kč)14 000+ lekcí, cvičení a testů
6 000+ ti zůstane napořád
Neomezený přístup ke všem aktuálním
i připravovaným kurzům.
Koupit pouze tento kurz
Získej okamžitý přístup ke kurzu bez
časového omezení.
470 Kč
Obsah článku spadá pod licenci Premium II, koupí článku souhlasíš s Provozními podmínkami.
- Přístup k jednotlivým lekcím dle způsobu pořízení.
- Kvalitní znalosti v oblasti IT.
- Dovednosti, které ti pomohou získat vysněnou a dobře placenou práci.
Popis článku
Požadovaný článek má následující obsah:
V tutoriálu si ukážeme rizika prompt injection v Make. Otestujeme škodlivé instrukce v recenzi a upravíme prompt podle bezpečnostních doporučení OWASP.
