Bagaimana cara melindungi organisasi dari tindakan berbahaya agen AI yang digunakannya? Ini bukan lagi sekadar pertanyaan teoritis—mengingat kerusakan aktual yang dapat dilakukan AI otonom berkisar dari layanan pelanggan yang buruk hingga menghancurkan basis data utama perusahaan. Ini adalah pertanyaan yang saat ini sedang menjadi diskusi oleh para pemimpin bisnis, dan lembaga pemerintah serta pakar keamanan berlomba-lomba untuk memberikan jawabannya.
Bagi CIO dan CISO, agen AI menciptakan masalah tata kelola yang sangat besar. Agen-agen ini membuat keputusan, menggunakan alat, dan memproses data sensitif tanpa campur tangan manusia. Akibatnya, ternyata banyak alat TI dan keamanan standar kita tidak mampu mengendalikan AI.
Mengurangi risiko dalam sistem AI berbasis agen
Meskipun sifat probabilistik dari pembuatan LLM dan kurangnya pemisahan antara instruksi dan saluran data membuat keamanan yang benar-benar sempurna menjadi tidak mungkin, serangkaian kontrol yang ketat — yang mendekati strategi Zero Trust — dapat secara signifikan membatasi kerusakan ketika terjadi kesalahan. Berikut adalah langkah-langkah dari perusahaan keamanan siber Kaspersky agar organisasi dapat memitigasi risiko keamanan siber yang dapat ditimbulkan dari agen AI:
• Terapkan prinsip otonomi minimal dan hak akses minimal. Batasi otonomi agen AI dengan menetapkan tugas dengan batasan yang ditentukan secara ketat. Pastikan mereka hanya memiliki akses ke alat, API, dan data perusahaan tertentu yang diperlukan untuk misi mereka. Kurangi izin hingga seminimal mungkin jika sesuai — misalnya, tetap menggunakan mode baca saja (read-only).
• Gunakan kredensial yang berumur pendek. Terbitkan token dan kunci API sementara dengan cakupan terbatas untuk setiap tugas tertentu. Ini mencegah penyerang menggunakan kembali kredensial jika mereka berhasil membahayakan agen.
• Keterlibatan manusia wajib untuk operasi kritis. Konfirmasi manusia masih diperlukan secara eksplisit untuk tindakan yang tidak dapat dibatalkan atau berisiko tinggi, seperti mengotorisasi transfer keuangan atau penghapusan data massal.
• Isolasi eksekusi dan kontrol lalu lintas. Jalankan kode dan alat di lingkungan terisolasi (kontainer atau sandbox) dengan daftar izin ketat untuk alat dan koneksi jaringan untuk mencegah panggilan keluar yang tidak sah.
• Penegakan kebijakan. Terapkan kebijakan ketat untuk memeriksa rencana dan argumen agen terhadap aturan keamanan sebelum mereka benar-benar beroperasi.
• Validasi dan sanitasi input dan output. Gunakan filter dan skema validasi khusus untuk memeriksa semua permintaan dan respons model untuk injeksi dan konten berbahaya. Ini perlu dilakukan di setiap tahap pemrosesan data dan setiap kali data diteruskan antar agen.
• Pencatatan log yang aman secara berkelanjutan. Catat setiap tindakan agen dan pesan antar agen dalam log yang tidak dapat diubah. Catatan ini akan dibutuhkan untuk audit dan investigasi forensik di masa mendatang.
• Pemantauan perilaku dan agen pengawas. Terapkan sistem otomatis untuk mendeteksi anomali, seperti lonjakan tiba-tiba dalam panggilan API, upaya replikasi diri, atau agen yang tiba-tiba menyimpang dari tujuan intinya. Oleh karena itu, organisasi yang telah memperkenalkan XDR dan mengolah telemetri di SIEM akan memiliki keunggulan di sini — mereka akan jauh lebih mudah untuk mengendalikan agen AI mereka.
• Kontrol rantai pasokan (supply chain) dan SBOM (software bills of materials/daftar material perangkat lunak). Hanya gunakan alat dan model yang telah diverifikasi dari registri tepercaya. Saat mengembangkan perangkat lunak, tandatangani setiap komponen, tetapkan versi dependensi, dan periksa kembali setiap pembaruan.
• Analisis statis dan dinamis kode yang dihasilkan. Pindai setiap baris kode yang ditulis agen untuk kerentanan sebelum dijalankan. Larang penggunaan fungsi berbahaya seperti eval() sepenuhnya. Dua kiat terakhir ini seharusnya sudah menjadi bagian dari alur kerja DevSecOps standar, dan perlu diperluas ke semua kode yang ditulis oleh agen AI. Melakukan ini secara manual hampir tidak mungkin, jadi alat otomatisasi, seperti yang ditemukan di Kaspersky Cloud Workload Security, direkomendasikan di sini.
• Mengamankan komunikasi antar agen. Pastikan otentikasi dan enkripsi timbal balik di semua saluran komunikasi antar agen. Gunakan tanda tangan digital untuk memverifikasi integritas pesan.
• Kill Switches. Temukan cara untuk langsung mengunci agen atau alat tertentu begitu perilaku anomali terdeteksi.
• Menggunakan UI untuk kalibrasi kepercayaan. Gunakan indikator risiko visual dan peringatan tingkat kepercayaan untuk mengurangi risiko manusia mempercayai AI secara berlebihan.
• Pelatihan bagi pengguna. Memberikan pelatihan karyawan secara sistematis tentang realitas operasional sistem bertenaga AI. Gunakan contoh yang disesuaikan dengan peran pekerjaan mereka yang sebenarnya untuk menguraikan risiko khusus AI. Mengingat betapa cepatnya bidang ini berkembang, video kepatuhan setahun sekali tidak akan cukup — pelatihan tersebut harus diperbarui beberapa kali dalam setahun.
