ItWorks.id – Bergeser dari sekadar alat yang membantu tim bekerja, pemanfaatan kecerdasan artifisial (AI) di organisasi-organisasi di Indonesia terus berkembang dan semakin bersifat agentic.
Badan Riset dan Inovasi Nasional (BRIN) menilai pergeseran ini membuka banyak peluang, sekaligus menuntut pengembangan yang adaptif dan bertanggung jawab. Namun, riset Sumsub, infrastruktur kepercayaan berbasis AI pertama untuk operasi kepatuhan berskala besar, justru menemukan adopsi AI melaju lebih cepat ketimbang kemampuan organisasi menyediakan bukti yang bisa diverifikasi atas setiap keputusan yang diambil AI mereka.
Temuan ini berasal dari APAC State of Digital Trust: AI Governance Benchmark, survei independen Sumsub terhadap 720 profesional senior di sembilan negara Asia-Pasifik (APAC) yang digarap Blackbox Research bersama Singapore FinTech Association.
Hasilnya, 96% organisasi Indonesia yakin dapat menjelaskan keputusan AI mereka, namun hanya 34% yang benar-benar menyimpan rekam jejaknya secara utuh dan antimanipulasi. Sumsub menyebut fenomena ini sebagai “Accountability Asymmetry”, yaitu jarak antara seberapa jauh organisasi mengandalkan keputusan AI-nya dan seberapa baik mereka mampu membuktikan keputusan apa yang sebenarnya diambil.
Beberapa temuan lain terkait organisasi di Indonesia:
● 91% nyaman membiarkan AI mengambil keputusan tanpa keterlibatan manusia dalam proses rutin, namun angkanya turun menjadi 55% begitu menyangkut transaksi keuangan.
● 64% sudah pernah mengalami AI bertindak sendiri dan berujung masalah atau hasil yang tak diinginkan.
● 94% pernah memakai sistem AI di luar tujuan awalnya dalam setahun terakhir, peran AI yang berjalan saat ini kerap berbeda dengan yang dulu disetujui.
● 56% menyebut kualitas data sebagai kekhawatiran terbesar saat AI bertindak mewakili mereka, menjadi kekhawatiran tertinggi di APAC.
● 99% mengaku siap mengadopsi solusi yang bisa melacak setiap tindakan AI sampai ke orang yang bertanggung jawab.
Tekanan juga datang dari sisi regulasi. Lewat Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia, Otoritas Jasa Keuangan (OJK) sudah menetapkan standar minimum bagi bank dalam mengelola AI di sepanjang siklus hidupnya, mulai dari manajemen risiko hingga audit. Belum lagi dua Peraturan Presiden, soal Peta Jalan AI Nasional dan Etika AI, yang kini tinggal menunggu tanda tangan Presiden untuk resmi berlaku.
Bagi organisasi di Indonesia maupun seluruh APAC, tantangannya adalah menerjemahkan ekspektasi tata kelola tersebut ke dalam praktik sehari-hari, memanfaatkan AI yang semakin otonom, sambil tetap menjaga pengawasan dan mampu menunjukkan apa yang telah dilakukannya. Tantangan ini membutuhkan kerangka kerja yang praktis serta keahlian lintas sektor.
Untuk membantu menjawab kesenjangan ini, Sumsub meluncurkan Sumsub Agentic AI Council (atau “Council”), sebuah forum lintas sektor di APAC yang mempertemukan berbagai pakar dan keahlian untuk menyusun kerangka kerja praktis, berbagi praktik terbaik, dan mendorong adopsi agentic AI yang lebih bertanggung jawab.
Lewat Council, para pemimpin dari kalangan kebijakan, teknologi, akademik, industri, hingga masyarakat sipil di APAC duduk bersama untuk menyusun panduan penggunaan agen AI yang bertanggung jawab. Semuanya berpijak pada tiga pilar:
● Adopt: Mengeksplorasi pemanfaatan agentic AI yang bertanggung jawab dan berdampak di seluruh ekonomi digital, mulai dari kepatuhan, pencegahan fraud (penipuan), pengalaman pelanggan, dan efisiensi operasional.
● Build: Membangun fondasi teknis dan operasional untuk agen AI yang tepercaya, termasuk identitas agen, kredensial yang bisa diverifikasi, arsitektur yang aman, keterlacakan (traceability), dan interoperabilitas.
● Govern: Membahas kebijakan, standar, dan mekanisme akuntabilitas yang diperlukan seiring meningkatnya otonomi sistem AI, guna memperjelas pembagian tanggung jawab dan menyusun pendekatan tata kelola yang praktis.
“Organisasi di Indonesia melihat potensi AI yang sangat besar, tetapi adopsinya perlu dibarengi kemampuan untuk menunjukkan bagaimana AI itu dipakai, melacak keputusan yang diambilnya, dan memastikan siapa yang bertanggung jawab,” ujar Penny Chai, Vice President, APAC di Sumsub. “Seiring agen AI mengemban tanggung jawab yang semakin besar, organisasi butuh infrastruktur kepercayaan yang menopang akuntabilitas itu di lapangan. Lewat framework Know Your Agent, kami menaruh akuntabilitas manusia sebagai inti, tiap agen AI dikaitkan dengan identitas manusia yang terverifikasi, dan menggunakan liveness check untuk memastikan otorisasi manusia pada momen-momen kritis.”
“Seiring organisasi di Indonesia menjajaki peluang agentic AI, kemampuan untuk tetap mengawasi, melacak keputusan AI, dan menunjukkan akuntabilitas harus ikut tumbuh seiring adopsinya,” ujar Jason Chan, APAC Government Relations Lead di Sumsub. “Dari pengalaman kami membantu banyak organisasi membangun kepercayaan dalam interaksi digital, kami melihat secara langsung tantangan-tantangan ini. Sumsub Agentic AI Council hadir untuk mempertemukan keahlian dari seluruh APAC, berbagi sudut pandang soal tantangan nyata dalam mengadopsi agentic AI yang bertanggung jawab.”
Para pakar yang tertarik dapat mendaftarkan minatnya melalui tautan di sini untuk menjadi salah satu founding advisor Council, yang akan diumumkan Sumsub menjelang pertemuan perdana pada kuartal I 2027. Para founding advisor inilah yang nantinya ikut menyusun kerangka kerja praktis soal bagaimana agen AI membuktikan untuk siapa mereka bertindak, apa saja yang boleh mereka lakukan, dan apa yang sudah mereka kerjakan. Kelompok kerja pertama Council rencananya fokus ke agentic commerce, yaitu saat agen AI bertindak mewakili konsumen dan pelaku bisnis.
