Tim AI di perusahaan-perusahaan semakin memberikan kebebasan kepada agen-agen mereka, tapi di saat yang sama, kepercayaan terhadap pengujian otomatis mulai merosot. Berdasarkan survei VB Pulse Juni 2026 yang melibatkan 157 responden dari perusahaan berukuran 100 karyawan atau lebih, setengah dari perusahaan telah menerapkan fitur agen AI atau LLM yang lulus evaluasi internal, namun tetap menyebabkan kegagalan saat berhadapan dengan pelanggan. Satu dari empat perusahaan mengalami kegagalan tersebut lebih dari sekali.
Ini berarti perusahaan-perusahaan tidak menanggapi masalah ini dengan memperlambat proses otomatisasi. Sebanyak 66% responden sudah mengizinkan beberapa penggunaan produksi tanpa tinjauan manusia atau sedang membangun sistem yang ditujukan untuk itu dalam waktu dekat. Hanya 5% yang mengatakan bahwa mereka sepenuhnya percaya pada evaluasi otomatis yang bisa membuat keputusan rilis tersebut.
Kesenjangan ini disebut “evaluasi gap” di mana tingkat otonomi naik lebih cepat dibandingkan dengan jaminan di bawahnya. Fenomena ini juga menunjukkan bahwa perusahaan lebih suka meluncurkan agen terlebih dahulu, sementara lapisan kontrol terkait identitas, evaluasi, biaya, konteks, dan orkestrasi akan menyusul kemudian. Dalam setahun ke depan, perusahaan akan melakukan retrofit, memindahkan anggaran mereka untuk sistem yang membuat penerapan agen menjadi lebih terkelola dan dapat dipertanggungjawabkan.
Kenapa evaluasi yang lulus tidak menjamin agen yang berfungsi
Pengujian perangkat lunak tradisional biasanya menilai apakah input yang didefinisikan menghasilkan output yang diharapkan. Namun, pengujian agen lebih sulit karena sistem mungkin memilih urutan langkahnya sendiri, memanggil alat, mengambil data, mengubah status, dan memberikan respons yang berbeda dari satu percobaan ke percobaan berikutnya.
Sebuah agen dapat membuat beberapa keputusan secara terpisah dan tetap mencapai hasil yang salah. Misalnya, agen bisa saja mengambil akun yang benar tetapi memperbarui kolom yang salah. Ia bisa menyusun permintaan pengembalian dana yang valid tetapi mengirimkannya tanpa persetujuan. Bisa juga ia berhasil memanggil lima alat sebelum langkah keenam mengeluarkan informasi sensitif atau mengakhiri alur kerja yang tidak lengkap.
Survei menunjukkan bahwa perusahaan sudah menyadari batasan ini. Alasan paling umum mengapa mereka tidak percaya pada evaluasi otomatis adalah karena kurangnya keselarasan dengan hasil di dunia nyata, yang diungkapkan oleh 29% responden. Bias atau ketidakkonsistenan menyusul di angka 21%, kurangnya kemampuan untuk menjelaskan di 18%, dan kekhawatiran kebocoran data atau privasi di 17%.
Hierarki ini penting. Perusahaan-perusahaan mengatakan bahwa skor yang didapat sering kali tidak dapat memprediksi apa yang terjadi ketika seorang pelanggan, karyawan, atau proses bisnis berinteraksi dengan agen di produksi—bukan karena pengukuran otomatis itu terlalu lambat atau mahal. NIST juga menggarisbawahi hal serupa dalam Panduan AI Generatifnya, yang menyebutkan bahwa pengukuran yang dilakukan di lingkungan terkendali mungkin tidak bisa diterapkan langsung ke produksi, karena perilaku bisa berubah sesuai dengan prompt, pengguna, konteks, dan kondisi operasional. Panduannya merekomendasikan pengujian lapangan, pemantauan pasca-deployment, dan proses yang jelas untuk menangani kegagalan.
Kemampuan tidak sama dengan konsistensi
Satu kali percobaan yang sukses hanya membuktikan bahwa agen dapat menyelesaikan tugas. Ini tidak membuktikan bahwa agen tersebut akan menyelesaikan tugas dengan konsisten. Panduan dari Anthropic membedakan antara mengukur apakah suatu sistem berhasil setidaknya sekali di berbagai usaha, dengan apakah ia selalu berhasil. Perbedaan ini sangat penting untuk alur kerja yang berhadapan dengan konsumen atau operasional. Model yang sesekali menghasilkan jawaban baik mungkin tetap tidak dapat diterima jika tugas yang sama gagal secara tak terduga pada percobaan berikutnya.
Oleh karena itu, tim perusahaan sebaiknya memperlakukan kesinambungan sebagai metrik utama. Ini berarti menjalankan skenario yang sama beberapa kali, mengubah frasa dan konteks, menguji kemungkinan kegagalan alat, dan mengukur apakah hasil bisnis akhir tetap benar bahkan ketika urutan langkah berubah. Set evaluasi juga perlu berkembang. Setiap insiden yang muncul dalam produksi harus menjadi pengujian regresi permanen. Eskalasi dari pelanggan, kegagalan panggilan alat, persetujuan yang salah dan kesalahan penanganan data harus dimasukkan kembali ke dalam suite pra-deployment daripada tetap sebagai kasus dukungan yang terisolasi.
Otonomi harus berkembang berdasarkan risiko, bukan ambisi
Survei ini tidak menyiratkan bahwa setiap tindakan agen harus memerlukan intervensi manusia. Tinjauan manusia tidak dapat diterapkan untuk jutaan keputusan dengan konsekuensi rendah. Namun, operasi tanpa intervensi manusia seharusnya diperoleh melalui keandalan yang terbukti dan dibatasi oleh konsekuensi dari kegagalan.
Tindakan berisiko rendah seperti menyusun ringkasan internal atau mengategorikan dokumen bisa ditoleransi untuk otonomi yang lebih besar. Namun, transaksi finansial, komunikasi pelanggan, penerapan kode, perubahan kontrol akses, dan penghapusan data memerlukan ambang batas yang lebih ketat, pengujian konsistensi yang berulang, pemeriksaan kebijakan, mekanisme rollback, dan jalur eskalasi manusia yang jelas.
Risiko ini juga tidak terdistribusi secara merata berdasarkan ukuran perusahaan. Perusahaan besar, yaitu yang memiliki 2.500 karyawan atau lebih, bergerak menuju penerapan tanpa intervensi manusia paling cepat, yaitu 70% dibandingkan dengan 64% untuk perusahaan lebih kecil. Mereka juga mengirimkan lebih banyak agen yang kemudian gagal dalam menghadapi pelanggan, yakni 54% berbanding 48%.
Inilah peringatan bagi para pemimpin perusahaan. Menghapus manusia dari proses tidak menghapus ketidakpastian. Tanpa jaminan yang lebih kuat, hal ini hanya mengalihkan ketidakpastian menjadi keputusan produksi otomatis.
Pasar akan terus dorong menuju otonomi yang lebih besar karena insentif ekonominya nyata. Organisasi yang paling siap bukanlah yang tercepat menghapus kehadiran manusia, tetapi mereka yang memperlakukan kesinambungan dan pengujian regresi sama seriusnya dengan kecepatan penerapan.
