Perusahaan-perusahaan kini semakin cepat menerapkan agen AI tanpa memastikan kontrol yang tepat untuk mengelolanya, dan mereka melakukannya dengan sadar. Ini adalah temuan utama dari lima survei paralel yang dilakukan oleh VentureBeat Research pada bulan Juni, mencakup setiap lapisan dari tumpukan agensi. Kini, banyak perusahaan yang sedang menyesuaikan diri untuk memenuhi standar yang mereka buat sendiri, dan mereka sudah memperhitungkan anggaran untuk itu. Dalam setiap lapisan kontrol yang kami ukur, 57 hingga 68% perusahaan berencana untuk mengganti penyedia atau menambah yang baru dalam waktu 12 bulan, dan sekitar sepertiga, tergantung lapisan, berencana untuk beralih dalam kuartal ini.
VentureBeat Research mengukur lima kontrol yang harus dibangun oleh sebuah perusahaan sebelum bisa mempercayai sebuah agen: identitas, evaluasi, telemetry biaya, lapisan konteks, dan orkestra. Identitas mengatur agen mana yang diperbolehkan untuk melakukan hal-hal tertentu dengan kredensial siapa. Evaluasi menentukan apakah pekerjaan agen berkualitas. Telemetry biaya melacak berapa biaya setiap agen untuk dijalankan. Lapisan konteks memberikan data dan definisi bisnis yang digunakan agen saat memberikan jawaban. Dan orkestra mengkoordinasikan pekerjaan agen yang melibatkan beberapa langkah. Setiap laporan kami mengukur salah satu dari kontrol ini.
Sebagian besar “agen” yang diterapkan adalah chatbot yang mengenakan label tersebut. Tujuh puluh satu persen perusahaan mengungkapkan bahwa seperempat atau lebih dari “agen” yang diterapkan dapat menyelesaikan pekerjaan multi-langkah secara mandiri; hanya 10% yang mengatakan bahwa agen sejati adalah sebagian besar dari yang mereka jalankan. Para responden ini berada dalam posisi yang tahu: 81% merekomendasikan atau memutuskan pembelian AI di perusahaan mereka. Sebuah chatbot dengan satu perintah yang memerlukan manusia untuk membaca setiap jawaban tidak memerlukan kontrol dari empat laporan lainnya. Sebuah agen multi-langkah sejati perlu memiliki semua kontrol itu—dan kebanyakan perusahaan tidak dapat mengidentifikasi mana yang telah mereka terapkan. (Temuan lengkap: Laporan Orkestra Agen.)
Otonomi melampaui kepercayaan dalam evaluasi yang mengaturnya. Dua pertiga perusahaan kini sudah membiarkan agen mendorong perubahan kode atau sistem ke dalam produksi hanya berdasarkan hasil evaluasi otomatis, tanpa pemeriksaan manusia, atau sedang aktif merancang ke arah itu dalam 12 bulan. Hanya 5% yang sepenuhnya mempercayai evaluasi yang dapat membuat keputusan tersebut—dan separuh dari perusahaan mengirimkan agen yang lolos evaluasi internal tetapi menyebabkan kegagalan yang berhadapan dengan pelanggan dalam setahun terakhir. Sebelum menghilangkan pemeriksaan manusia dari alur kerja mana pun, sebaiknya uji evaluasi tersebut terhadap hasil produksi, bukan hanya dari benchmark internal. (Temuan lengkap: Laporan Keandalan dan Evaluasi Agen.)
Perusahaan yang membiarkan agen berbagi kredensial sering terkena masalah. Enam puluh sembilan persen perusahaan membiarkan setidaknya beberapa agen mereka berbagi kredensial—beberapa agen beroperasi di bawah satu kunci API atau akun layanan. Organisasi yang membolehkan berbagi kredensial di mana saja mengalami insiden keamanan atau hampir mengalami masalah dengan tingkat kejadian sebesar 63,5% (47 dari 74), dibandingkan dengan 40,9% (sembilan dari 22) di perusahaan di mana setiap agen memiliki identitas terpisah. Solusinya adalah identitas terpisah untuk setiap agen, dimulai dari yang berhubungan dengan sistem produksi. (Temuan lengkap: Laporan Keamanan dan Identitas Agen.)
Perangkat keras termahal di gedung beroperasi di kapasitas setengah atau kurang. Lebih dari delapan dari sepuluh perusahaan yang menjalankan GPU mereka sendiri melaporkan penggunaan di bawah 50%, dan hanya 44% yang secara ketat melacak berapa biaya dan keuntungan dari komputasi AI mereka. Angka yang patut dikejar terlebih dahulu bukan lebih banyak GPU—tetapi pemanfaatan dan biaya per beban kerja dari yang sudah ada. (Temuan lengkap: Laporan Infrastruktur dan Komputasi AI.)
Agen memberikan jawaban yang percaya diri berdasarkan data yang tidak ada pengaturannya. Lima puluh tujuh persen perusahaan melacak jawaban agen yang percaya diri namun salah dalam enam bulan terakhir kepada konteks bisnis mereka yang hilang atau tidak konsisten—metrik yang salah, definisi yang kadaluarsa, dokumen yang tidak ada—dan sebagian besar melihat hal ini terjadi lebih dari sekali. Mengelola definisi yang dijadikan acuan oleh agen—metrik dan entitas terlebih dahulu—harus dilakukan sebelum memperbesar jumlah agen yang bergantung padanya. (Temuan lengkap: Laporan Lapisan Konteks / RAG.)
Tidak ada lapisan yang memiliki pemegang kendali yang mapan: default saat ini adalah alat bawaan yang disertakan dengan platform AI besar yang sudah digunakan perusahaan. Niat untuk beralih paling tinggi ada di orkestra itu sendiri, di mana 68% berencana untuk mengadopsi, menambah, atau mengganti platform dalam waktu 12 bulan dan 34% dalam kuartal ini. Survei kami tidak menanyakan ke arah mana uang itu bergerak—apakah menuju alat bawaan platform atau ke arah spesialis yang menantang mereka—dan pertanyaan terbuka itu adalah fokus pasar dalam empat kuartal ke depan.
