Chatboti, ako je ChatGPT, Google Bard či iní, sú dobrými sluhami, ale zároveň môžu pre spoločnosť predstavovať veľké riziko. Sú totiž zraniteľní voči útokom založeným na nepriamej, okamžitej injektáži. Inými slovami ich je možné ľahko prinútiť k tomu, aby robili to, čo by nemali.
Málokto si uvedomuje, že systémy, ktoré využívajú umelé neurónové siete a prvky umele inteligencie vďaka technológii veľkých jazykových modelov (LLM) je možné pomocou špeciálnych inštrukčných sád flexibilne modulovať. Tieto sady ich robia náchylnými k cielenému útoku, tzv. nepriamej injektáži, ktorou môžu útočníci prepísať pôvodné funkcie systému.
Pri injektáži do generatívnej umelej inteligencie útočník vloží na vstup LLM škodlivý kód (prípadne celú sadu) alebo dáta, čím odštartuje sled udalostí, ktoré môžu viesť k početným škodám. Medzi ne patrí napr. krádež dát, neoprávnená transakcia, poškodenie systému či kybernetický útok.
To je IT odborníkmi považované za jeden z najviac znepokojivých spôsobov, ako môžu hackeri zneužiť veľké jazykové modely. Veľké korporácie aj menšie start-upy totiž často spúšťajú alebo využívajú verejné generatívne systémy umelej inteligencie bez toho, aby si uvedomovali prípadné riziká. Preto sa odborníci na kybernetické zabezpečenie všeobecne snažia zvýšiť povedomie o potenciálnom nebezpečí. „Vzhľadom na to, že stále viac spoločností LLM využíva, a často do nich vkladajú osobné či podnikové dáta, ide o veľké riziko. Práve preto sa útočníci zamerali na krádeže AI Chatbot účtov – viď napr. Malware Raccoon, vďaka ktorému bolo ukradnutých a na Dark Webe vystavených už cca 80 tisíc ChatGPT účtov. Ak podobné služby vo firemnom prostredí využívate, odporúčame vám v prvom rade pri týchto nástrojoch nastaviť MFA, nevkladať do chatu citlivé dáta a ideálne potom neukladať históriu konverzácií,“ vysvetľuje Petr Kocmich, Global Cyber Security Delivery Manager spoločnosti Soitron.
Existuje niekoľko rôznych spôsobov, ako môže útočník urobiť injektáž do LLM. Jedným z najbežnejších spôsobov je vloženie škodlivého kódu alebo dát do vstupu, ktorý je odovzdaný LLM. Tento vstup môže byť čímkoľvek, od textu až po obrázok.
Útočník môže napríklad vložiť škodlivý kód na vstup chatbota. Keby užívateľ následne chatbotovi položil otázku, mohol by tento škodlivý kód spustiť zamýšľaný útok. Ďalším spôsobom je zneužitie chyby v aplikácii, ktorá využíva LLM. Zjednodušene povedané, ak niekto dokáže vložiť dáta do LLM, potom môže potenciálne manipulovať s tým, čo sa objaví na výstupe.
Odborníci na bezpečnosť pravidelne ukazujú, ako je možné nepriamu okamžitú injektáž použiť k manipulácii či krádeži dát, v horšom prípade aj ku vzdialenému spusteniu kódu.
Existuje niekoľko opatrení, ktoré môžu vývojári a správcovia systémov podniknúť, aby systémy pred injektážou do LLM ochránili. Jedným z najdôležitejších, avšak nie celkom banálnych, je použiť správne ošetrenie vstupu, ktoré pomáha zabrániť vloženiu škodlivého kódu alebo dát.
„Napriek tomu že vývojári chatbotov disponujú tímami, ktoré pracujú na zabezpečení LLM systémov, na identifikácii a filtrácii injektovaného kódu pre manipuláciu či exfiltráciu dát a vzdialeného spustenia kódu, nie je v ich silách vopred všetky potenciálne nebezpečné vstupy identifikovať, ošetriť a zabrániť im. V kyberbezpečnosti sme si už zvykli, že útočníci využívajú tzv. obfuskáciu (maskovanie) kódu. Teraz sa bavíme prakticky o obfuskácii na úrovni spracovania prirodzeného jazyka (NLP), kedy želané funkcionality dokážeme dosiahnuť rôznorodo písaným textom,“upozorňuje Petr Kocmich.
Aj z tohto dôvodu spoločnosti pristupujú k tomu, že používanie verejne dostupných chatbotov stále viac obmedzujú. Prípadne sa zamýšľajú, ako generatívnu umelú inteligenciu integrovať, respektíve implementovať do aplikácií a služieb. Je potrebné si totiž uvedomiť, že vo chvíli, kedy dochádza k prijatiu informácií od tretích strán (napr. z internetu), nie je možné LLM naďalej dôverovať. K LLM je preto potrebné vždy pristupovať opatrne.
V tomto prípade dostávajú prednosť špecializované generatívne systémy, ktoré sú priamo navrhnuté k firemnému použitiu, a do ktorých je možné vkladať podnikové dáta, ktoré nikdy neopustia toto prostredie – používajú iba interné dáta, ktoré sú spracovávané lokálne. „Takým je napríklad aj naša služba Millada, ktorá, hoci je postavená na modeli ChatGPT, pracuje s dátami lokálne. Oproti iným informačným technológiám a systémom je jej implementácia navyše omnoho jednoduchšia, lebo funguje nezávisle na úrovni spracovateľa dát,“ prezrádza Kocmich a dodáva, že LLM je nápomocná technológia, ale rozhodne vyžaduje starostlivé a zodpovedné používanie.
We are in the process of finalizing. If you want to be redirected to our old version of web site, please click here.
