Panduan Microsoft untuk Mengamankan Perusahaan yang Didukung AI: Mulai

AI agentik menawarkan potensi transformatif, tetapi otonomi AI memberikan tantangan keamanan yang unik dan memerlukan manajemen risiko yang proaktif. Berikut adalah risiko utama dan strategi yang dirancang khusus untuk mengatasinya:

Halusinasi dan hasil keluaran yang tidak diinginkan

Sistem AI agentik dapat menghasilkan keluaran yang tidak akurat, usang, atau tidak selaras, sehingga menyebabkan gangguan operasional atau pengambilan keputusan yang buruk.

Untuk memitigasi risiko ini, organisasi sebaiknya menerapkan proses pemantauan yang ketat untuk meninjau keluaran yang dihasilkan oleh AI dalam rangka memperoleh akurasi dan relevansi. Memperbarui data pelatihan secara teratur akan memastikan keselarasan data dengan informasi terkini, sementara jalur eskalasi untuk kasus kompleks memberikan ruang bagi intervensi manusia saat diperlukan. Pengawasan manusia tetap menjadi hal yang sangat penting untuk menjaga keandalan dan kepercayaan dalam operasi berbasis AI.

Ketergantungan yang berlebihan pada keputusan AI

Kepercayaan tanpa alasan pada sistem AI agentik dapat menimbulkan kerentanan saat pengguna bertindak berdasarkan hasil yang cacat tanpa validasi.

Organisasi sebaiknya menetapkan kebijakan yang mewajibkan peninjauan oleh manusia untuk keputusan penting yang dipengaruhi AI. Melatih karyawan tentang keterbatasan AI akan menumbuhkan skeptisisme yang berwawasan, sehingga mengurangi kemungkinan terjadinya kesalahan. Mengombinasikan wawasan AI dan penilaian manusia dalam proses pengambilan keputusan berlapis akan memperkuat ketahanan secara keseluruhan serta mencegah ketergantungan berlebih.

Vektor serangan baru

Otonomi dan adaptabilitas AI agentik menciptakan peluang bagi penyerang untuk mengeksploitasi kerentanan, mendatangkan risiko operasional dan sistemik.

Risiko operasional termasuk manipulasi sistem AI untuk melakukan tindakan berbahaya, seperti tugas yang tidak sah atau upaya pengelabuan. Organisasi dapat memitigasi risiko ini dengan menerapkan langkah keamanan yang tangguh, termasuk deteksi anomali real time, enkripsi, dan kontrol akses yang ketat.

Risiko sistemik muncul ketika agen yang disusupi mendisrupsi sistem yang saling terhubung dan menyebabkan kegagalan berantai. Mekanisme konsep gagal-aman, protokol redundansi, dan audit rutin—yang selaras dengan kerangka kerja keamanan cyber seperti NIST—akan membantu meminimalkan ancaman tersebut serta mendukung pertahanan saat menghadapi serangan dari pihak lawan.

Akuntabilitas dan tanggung jawab

AI agentik sering kali beroperasi tanpa pengawasan langsung oleh manusia, menimbulkan pertanyaan rumit tentang akuntabilitas dan tanggung jawab atas kesalahan atau kegagalan.

Organisasi harus mendefinisikan kerangka akuntabilitas yang jelas, yang secara spesifik mendefinisikan peran dan tanggung jawab untuk hasil-hasil terkait AI. Dokumentasi yang transparan mengenai proses pengambilan keputusan oleh AI akan mendukung identifikasi kesalahan dan penetapan tanggung jawab. Kolaborasi dengan tim hukum memastikan kepatuhan terhadap regulasi, sementara adopsi standar etika untuk tata kelola AI akan membangun kepercayaan dan mengurangi risiko terkait reputasi.