Selama hampir dua tahun terakhir, banyak orang percaya bahwa dalam dunia AI perusahaan, semakin banyak otonomi berarti semakin baik kinerja. Mereka beranggapan bahwa dengan membangun agen yang dapat merencanakan, mengambil keputusan, dan bertindak di berbagai alur kerja multi-langkah, serta memberikan kebebasan seluas-luasnya kepada mereka, hasilnya akan optimal. Namun, asumsi ini kini sedang diuji di lapangan, dan banyak implementasi yang gagal. Perusahaan yang akhirnya akan diuntungkan dari AI otonom bukanlah mereka yang memberikan fleksibilitas terbanyak kepada agen mereka, melainkan yang mampu menciptakan agen AI dengan tanggung jawab yang jelas dan memastikan mereka beroperasi dengan pedoman yang tegas.
Dua angka bisa memberi gambaran jelas tentang posisi AI otonom saat ini di pertengahan 2026. Berdasarkan perkiraan Gartner, lebih dari 40% proyek AI otonom yang saat ini berjalan tidak akan bertahan hingga 2028. Penyebabnya bukan karena model yang tidak mumpuni, melainkan biaya yang terus meningkat, nilai bisnis yang tidak jelas, dan kontrol risiko yang tidak memadai. Survei Maturity Trust AI 2026 dari McKinsey menunjukkan bahwa penerapan AI otonom semakin meningkat di setiap industri, namun rata-rata kematangan dalam AI yang bertanggung jawab hanya mencapai 2,3 dari skala 4. Hanya sekitar 30% organisasi yang mencapai tingkat kematangan tiga atau lebih dalam pengelolaan dan kontrol AI otonom.
Ketika kedua angka ini dibandingkan, ceritanya menjadi jelas. Kemampuan lebih cepat berkembang dibandingkan kontrol yang ada.
Perubahan ini juga menggeser bagaimana kompetisi dilakukan. Perlombaan di tahun 2024 hingga 2025 berfokus pada siapa yang bisa menerapkan agen otonom dengan cepat. Namun, perlombaan di tahun 2026 hingga 2027 adalah perlombaan kepercayaan.
Bukan soal siapa yang dapat membangun agen paling canggih, melainkan siapa yang dapat mendapatkan persetujuan agen untuk digunakan di lingkungan produksi oleh tim risiko, hukum, dan kepatuhan, serta mempertahankannya setelah diluncurkan. Ini adalah tantangan teknik yang berbeda dibandingkan dengan apa yang biasanya dihadapi banyak perusahaan.
Kenapa otonomi penuh gagal di produksi
Gartner menjelaskan pola kegagalan ini secara spesifik dan terulang. Proyek diluncurkan dengan alur kerja otonom yang ambisius. Namun, mereka terhambat oleh kompleksitas integrasi dalam waktu singkat. Akibatnya, proyek terhenti tanpa ada jalur yang dapat dipertanggungjawabkan untuk ROI produksi. Sebagian besar masalah muncul dari kebisingan vendor. Gartner sendiri mencatat bahwa dari ribuan produk yang dijual dengan label ‘AI otonom’, hanya sekitar 130 yang benar-benar memiliki kemampuan otonom yang nyata. Sebagian besar sisanya hanyalah otomatisasi atau chatbot yang dikemas ulang.
Namun, bahkan sistem yang benar-benar otonom menemui masalah struktural yang tidak ada hubungannya dengan hype. Otonomi dan akuntabilitas bergerak dalam arah yang berlawanan.
Sebuah agen yang mampu merencanakan dan mengeksekusi tugas multi-langkah secara independen adalah juga agen yang keputusan individunya menjadi sulit untuk dilacak setelah kenyataan. Misalnya, jika terjadi kesalahan beberapa langkah ke dalam rangkaian otonom, mencari tahu mengapa agen membuat keputusan tertentu dan siapa yang bertanggung jawab bisa menjadi proses yang rumit, bukan sekadar pencarian sederhana.
Di bidang seperti rekonsiliasi keuangan, proses kepatuhan, pemeriksaan kualitas manufaktur, atau dokumentasi klinis, kurangnya transparansi ini bisa menjadi perbedaan antara kesalahan yang dapat dikelola dan pelanggaran regulasi yang serius. Ini adalah alasan mengapa tim hukum, risiko, dan kepatuhan menghalangi proyek otonom mencapai produksi, tidak peduli seberapa mumpuni model yang ada.
Kompleksitas integrasi tetap menjadi penyebab utama pembatalan proyek. Menggabungkan agen otonom dengan alur kerja yang sudah ada lebih dari sekadar menghubungkan aspek teknis. Titik keputusan yang ada saat ini, rantai persetujuan, dan jejak audit semua perlu dibangun kembali agar dapat bekerja dengan sistem yang kini dapat bertindak tanpa menunggu keputusan manusia. Perusahaan yang menganggap ini hanya sebagai masalah integrasi, yang bisa diselesaikan dengan lebih banyak jam teknik, cenderung menjadi yang terhambat.
Ini bukanlah risiko hipotetik. Penelitian McKinsey menunjukkan seberapa rentan sebagian besar perusahaan saat ini. Di hampir setiap kategori risiko AI, mulai dari privasi data hingga eksposur hak kekayaan intelektual, kesenjangan antara risiko yang diakui organisasi dan risiko yang nyata mereka mitigasi masih sangat besar.
Kesadaran sudah melebihi tindakan. Kesenjangan ini tercermin dalam bisnis yang melaporkan hal itu sebagai penghalang untuk semakin memperluas penggunaan AI otonom. Hampir dua pertiga dari mereka sekarang menyatakan bahwa masalah keamanan dan risiko adalah tantangan terbesar mereka, lebih dari ketidakpastian regulasi dan hambatan teknis.
Seperti apa pengorganisasian yang teratur sebenarnya
Perusahaan-perusahaan yang memimpin tidak menghentikan rencana AI mereka. Mereka merestrukturisasi bagaimana otonomi didistribusikan dalam sistem. Empat pola yang menonjol dalam organisasi yang sudah matang dalam pengelolaan adalah:
-
Agen dengan lingkup sempit dibandingkan yang serbaguna. Memecah alur kerja end-to-end menjadi agen dengan tanggung jawab satu, dengan mandat yang jelas. Lingkup kerja yang lebih kecil menghasilkan lingkup kegagalan yang lebih kecil, dan lebih mudah diaudit.
-
Titik pemeriksaan manusia sebelum keputusan, bukan setelahnya. Tinjau keputusan agen sebelum tindakan berisiko tinggi dilakukan, bukan setelahnya. Ini berarti adanya pemeriksaan sebelum data sensitif berpindah, transaksi diunggah, atau sistem eksternal diaktifkan. Kerangka kerja McKinsey menyerukan pemantauan berbasis data secara real-time yang terintegrasi dalam jalur agen, dengan manusia tetap mempertahankan akuntabilitas akhir khusus untuk keputusan berisiko tinggi.
-
Traceability keputusan sebagai kebutuhan desain. Catatan tindakan lengkap dan garis keputusan harus tersedia bila dibutuhkan untuk setiap agen, setiap keputusan. Ini tidak boleh perlu direkonstruksi di bawah tekanan saat audit. Regulator berupaya sama. Persyaratan pengawasan manusia dalam sistem berisiko tinggi berdasarkan RUU AI UE tetap akan berlaku, meskipun persetujuan Digital Omnibus tahun ini memperpanjang tenggat waktu kepatuhan hingga Desember 2027. Perusahaan yang membangun sistem agen saat ini secara efektif sedang membangun menuju persyaratan itu, terlepas dari apakah itu dapat diberlakukan secara teknis.
-
Keberlanjutan data menjalankan fungsi pengelolaan aktif, bukan sekadar dokumen. Di mana data agen disimpan, dan siapa yang memiliki akses, menentukan seberapa terkontrol suatu kegagalan. Penempatan di lokasi atau lingkungan yang terkendali membatasi dampak dari agen yang berperilaku buruk dan menyederhanakan jejak audit yang diharapkan regulator dan direksi.
Risiko berjalan dalam dua arah, tentu saja. AI otonom seharusnya mengurangi gesekan. Jika sebuah agen membutuhkan manusia untuk menyetujui setiap tugas kecil, maka itu bukanlah pengurangan; itu hanya otomatisasi yang mengenakan kostum proses manual. Situasi ini secara perlahan meruntuhkan keseluruhan argumen untuk membangun agen itu sejak awal. Tujuannya bukan maksimalisasi kontrol. Ini tentang kontrol yang terkalibrasi, terkonsentrasi di tempat di mana dampak kesalahan benar-benar tinggi.
Penggunaan agen berlipat ganda sekitar 8 kali lebih cepat dibandingkan dengan kemajuan dalam pengelolaan.
Kerangka praktis untuk mengevaluasi tumpukan agen Anda
Jika arsitek perusahaan sedang meninjau agen yang ada untuk penerapan atau mempertimbangkan untuk menerapkan agen, mereka bisa mulai dengan empat pertanyaan.
1. Bisakah Anda merekonstruksi, enam bulan dari sekarang, alasan tepat mengapa agen tertentu mengambil tindakan tertentu? Jika jawabannya membutuhkan mencari melalui log mentah atau menebak, garis keputusan bukanlah fitur desain dari sistem. Ini hanya pemikiran sesaat dan akan muncul sebagai kesenjangan dalam audit berikutnya.
2. Apakah setiap agen dalam tumpukan memiliki tanggung jawab yang jelas, atau adakah agen yang diizinkan untuk “memutuskan” dalam tugas yang luas? Mandat yang luas justru menjadi tempat munculnya kesalahan yang bertumpuk dan keputusan yang tidak dapat dilacak.
3. Apakah titik pemeriksaan manusia ditempatkan di batas keputusan tertentu, atau hanya sebagai tinjauan akhir setelah agen bertindak? Tinjauan setelah tindakan menangkap konsekuensi. Titik pemeriksaan sebelum tindakan mencegahnya terjadi.
4. Jika agen sedang terkompromi atau tidak berfungsi saat ini, seberapa banyak data dan sistem hilir yang bisa terpengaruh sebelum ada yang menyadari? Ini adalah saat keberlanjutan data dan pengaturan akses berhenti menjadi item kepatuhan dan mulai berfungsi sebagai strategi penahanan.
Semua pertanyaan ini tidak perlu menghambat adopsi AI otonom. Yang diperlukan adalah arah tentang bagaimana dan di mana otonomi dapat memberi nilai bagi organisasi mereka dan bagaimana membuka diri terhadap eksposur. Ini menunjukkan perlunya membangun lapisan orkestrasi pada pemisahan ini, daripada menambahkan pengelolaan setelah insiden produksi memaksa pertanyaan tersebut muncul.
Keunggulan kompetitif yang sesungguhnya
Prediksi Gartner tentang 40% pembatalan bukanlah peringatan tentang kemampuan AI. Ini adalah ramalan tentang disiplin organisasi. Saat ini, AI otonom berada di apa yang didefinisikan Gartner sebagai “puncak harapan yang terinflasi,” dan ada penjelasan yang cukup sederhana di baliknya. Perusahaan-perusahaan menghabiskan tahun 2024 dan 2025 hampir sepenuhnya mengoptimalkan otonomi. Sekarang mereka mulai membayar utang pengelolaan yang telah terakumulasi dari pendekatan itu.
Kedudukan pemenang di tahun 2027 tidak akan menjadi milik mereka yang menerapkan agen otonom tercepat. Itu akan menjadi milik mereka yang membangun sistem agen yang cukup dapat dipercaya hingga tim risiko, kepatuhan, dan hukum tidak lagi menjadi penghambat. Arsitekturnya menjawab pertanyaan mereka sebelum ada yang perlu menanyakannya.
Ini adalah ringkasan desain yang berbeda dibandingkan dengan sebagian besar peta jalan AI otonom yang telah ditulis. Ini tentang menciptakan otonomi yang terfokus, keputusan yang dipastikan, pelacakan penuh, dan keberlanjutan data yang menjadi bagian integral dari arsitektur dari awal, bukan tambahan setelah proyek percontohan sukses.
