This is the Trace Id: 751b148e5957e7b4d1b34bcce1eff583

Príručka od spoločnosti Microsoft pre zabezpečenie veľkých organizácií využívajúcich umelú inteligenciu: Začíname

Stiahnuť príručku
Zdieľať
Žena používa dotykovú obrazovku.

Začíname s aplikáciami s umelou inteligenciou

Umelá inteligencia (AI) transformuje obchodné operácie, odomyká inovácie, a zároveň prináša nové riziká. Od tieňovej umelej inteligencie (nástroje spotrebiteľskej úrovne prijaté bez dohľadu) až po útoky s vkladaním príkazov – a vznikajúce nariadenia, ako je napríklad zákon EÚ o umelej inteligencii – organizácie musia riešiť tieto výzvy, aby mohli umelú inteligenciu používať bezpečne.

Táto príručka sa zaoberá rizikami spojenými s umelou inteligenciou: únikom údajov, vznikajúcimi hrozbami, ako aj s výzvami dodržiavania súladu spolu s jedinečnými rizikami agentickej umelej inteligencie. Uvádzajú sa v nej aj usmernenia a potrebné praktické kroky na základe rámca prijatia umelej inteligencie. Ak hľadáte hlbšie poznatky a praktické kroky, si stiahnite príručku.

Umelá inteligencia znamená prelom – ale iba ak ju dokážete zabezpečiť. Poďme na to.

Keďže organizácie prijímajú umelú inteligenciu, vedúci pracovníci musia riešiť tri kľúčové výzvy:
  • 80 % vedúcich pracovníkov uvádza únik údajov ako hlavný problém. 1 Nástroje tieňovej umelej inteligencie – používané bez schválenia od IT oddelenia – môžu odkryť citlivé informácie, čím sa zvyšujú riziká úniku.
  • 88 % organizácií sa obáva manipulácie systémov umelej inteligencie zo strany útočníkov. 2 Útoky, ako sú útoky s vkladaním príkazov, zneužívajú zraniteľnosti v systémoch umelej inteligencie, čo zdôrazňuje potrebu proaktívnej obrany.
  • 52 % vedúcich pracovníkov priznáva neistotu pri orientácii v nariadeniach týkajúcich sa umelej inteligencie. 3 Dodržiavanie súladu s rámcami, ako je napríklad zákon EÚ o umelej inteligencii, je nevyhnutné pre posilnenie dôvery a udržanie dynamiky inovácií.

Agentická umelá inteligencia ponúka transformačný potenciál, ale jej autonómia prináša jedinečné bezpečnostné výzvy, ktoré si vyžadujú proaktívne riadenie rizík. Nižšie sú uvedené kľúčové riziká a stratégie prispôsobené na ich riešenie:

Halucinácie a nezamýšľané výstupy

Systémy agentickej umelej inteligencie môžu produkovať nepresné, zastarané alebo nesprávne zosúladené výstupy, čo vedie k prerušeniam prevádzky alebo zlému rozhodovaniu.

Ak chcú organizácie zmierniť tieto riziká, mali by zaviesť prísne monitorovacie procesy na kontrolu presnosti a relevantnosti výstupov vygenerovaných pomocou AI. Pravidelná aktualizácia údajov trénovania zaistí zosúladenie s aktuálnymi informáciami, zatiaľ čo eskalačné cesty pre zložité prípady umožňujú ľudský zásah v prípade potreby. Ľudský dohľad zostáva nevyhnutný, aby sa zachovala spoľahlivosť a dôvera v rámci operácií riadených umelou inteligenciou.

Prílišné spoliehanie sa na rozhodnutia umelej inteligencie

Ak používatelia slepo dôverujú systémom agentickej umelej inteligencie, môže to viesť k vzniku zraniteľných miest, keď konajú na základe chybných výstupov bez overenia.

Organizácie by mali zaviesť politiky vyžadujúce kontrolu človekom v prípade vysokorizikových rozhodnutí ovplyvnených umelou inteligenciou. Ak sú zamestnanci školení o obmedzeniach umelej inteligencie, podporuje sa u nich informovaný skepticizmus a znižuje sa pravdepodobnosť chýb. Kombináciou poznatkov umelej inteligencie a ľudského úsudku prostredníctvom viacvrstvových rozhodovacích procesov sa posilňuje celková odolnosť a zabraňuje sa nadmernej závislosti.

Nové vektory útoku

Autonómia a prispôsobivosť agentickej umelej inteligencie vytvára útočníkom príležitosti na zneužitie zraniteľných miest, čo prináša prevádzkové aj systémové riziká.

Prevádzkové riziká zahŕňajú manipuláciu so systémami umelej inteligencie s cieľom vykonávať škodlivé akcie, ako sú neoprávnené úlohy alebo pokusy o phishingové útoky. Organizácie môžu tieto riziká zmierniť zavedením robustných bezpečnostných opatrení vrátane detekcie anomálií v reálnom čase, šifrovania a prísnych kontrol prístupu.
Systémové riziká vznikajú, keď zneužití agenti narušia prepojené systémy, čo spôsobí kaskádovité zlyhania. Mechanizmy zabezpečenia pred zlyhaním, protokoly redundancie a pravidelné audity – v súlade s rámcami kybernetickej bezpečnosti, ako je NIST – pomáhajú minimalizovať tieto hrozby a posilňovať obranu proti nepriateľským útokom.

Zodpovednosť

Agentická umelá inteligencia často funguje bez priameho ľudského dohľadu, čo vyvoláva zložité otázky týkajúce sa zodpovednosti za chyby alebo zlyhania.

Organizácie by mali definovať jasné rámce zodpovednosti, ktoré špecifikujú úlohy a zodpovednosti za výsledky súvisiace s umelou inteligenciou. Transparentná dokumentácia rozhodovacích procesov AI podporuje identifikáciu chýb a priradenie zodpovednosti. Spoluprácou s právnymi tímami sa zabezpečí súlad s nariadeniami, zatiaľ čo prijatím etických štandardov pre riadenie umelej inteligencie sa buduje dôvera a znižujú sa riziká poškodenia dobrého mena.

S novými inováciami v oblasti umelej inteligencie, ako sú agenti, musia organizácie vytvoriť silný základ založený na princípoch nulovej dôvery (Zero Trust) – „nikdy nedôveruj, vždy overuj“. Tento prístup pomáha zabezpečiť overenie, autorizovanie a priebežné monitorovanie každej interakcie. Hoci dosiahnutie nulovej dôvery (Zero Trust) si vyžaduje čas, prijatím postupnej stratégie sa umožní stabilný pokrok a buduje sa dôvera v bezpečnú integráciu umelej inteligencie.

Rámec prijatia umelej inteligencie spoločnosti Microsoft sa zameriava na tri kľúčové fázy: riadenie AI, spravovanie AI a zabezpečenie AI.

Riešením týchto oblastí môžu organizácie položiť základy používania zodpovednej AI, a zároveň zmierniť kritické riziká.

Ak chcete uspieť, uprednostňujte ľudí a zaškoľte ich v rozpoznávaní rizík umelej inteligencie a bezpečnom používaní schválených nástrojov. Podporujte spoluprácu medzi IT, bezpečnostným a obchodným tímom s cieľom zabezpečiť jednotný prístup. Podporujte transparentnosť otvoreným informovaním o iniciatívach v oblasti bezpečnosti umelej inteligencie s cieľom vybudovať dôveru a preukázať vedenie.

So správnou stratégiou založenou na princípoch nulovej dôvery (Zero Trust) môžete zmierniť riziká, odomknúť inovácie a s istotou sa orientovať vo vyvíjajúcom sa prostredí umelej inteligencie.

Viac z témy Zabezpečenie

Navigácia v oblasti kybernetických hrozieb a posilnenie ochrany v ére umelej inteligencie

Pokrok v umelej inteligencii predstavuje nové hrozby, ale aj príležitosti pre oblasť kybernetickej bezpečnosti. Zistite, ako aktéri hrozieb využívajú umelú inteligenciu na uskutočňovanie sofistikovanejších útokov, a potom si prečítajte najvhodnejšie postupy, ktoré pomáhajú chrániť pred tradičnými kybernetickými hrozbami aj hrozbami využívajúcimi umelú inteligenciu.
Ďalšie informácie

CISO využívajúci umelú inteligenciu: Umožnenie lepšej stratégie pomocou informácií o hrozbách

Na CISO, ktorí využívajú generatívnu AI pre zabezpečenie, čakajú tri kľúčové výhody: lepšie poznatky o hrozbách, zrýchlené reakcie na hrozby a pomoc pri strategickom rozhodovaní. Prečítajte si tri vzorové scenáre a zistite, prečo 85 % CISO považuje AI za kľúčovú pre zabezpečenie.
Ďalšie informácie

Microsoft Správa o digitálnej ochrane z roku 2024

Microsoft Správa o digitálnej ochrane z roku 2024 skúma vyvíjajúce sa kybernetické hrozby zo strany skupín aktérov hrozieb napojených na národné štáty a počítačových zločincov, poskytuje nové prehľady a usmernenia na zvýšenie odolnosti a posilnenie ochrany a skúma rastúci vplyv generatívnej AI na kybernetickú bezpečnosť
Ďalšie informácie

Sledujte zabezpečenie od spoločnosti Microsoft