Intuit memang jadi salah satu pelopor awal dalam penggunaan AI agentik, tapi jalan menuju kesuksesan mereka tidaklah lurus. Dalam acara VB Transform 2026, Nhung Ho, VP AI dari Intuit, menjelaskan bagaimana perusahaan ini harus merombak arsitektur agen mereka dua kali dalam waktu yang cukup singkat, sekitar empat bulan. Pertama, mereka berpindah dari penggunaan banyak agen spesialis ke lapisan orkestrasi pusat, lalu meninggalkan lapisan itu untuk sistem berbasis keterampilan dan alat setelah orkestrator itu sendiri mulai mengalami kegagalan karena kompleksitasnya. Proses pembangunan ulang kedua ini memakan waktu 60 hari, dengan versi kerja pertama muncul dalam waktu kurang dari 20 hari.
Kegagalan yang mendorong pembangunan ulang kedua ini bersifat spesifik. Agen dalam sistem terorkestrasi saling mengirim hasil dalam bahasa alami, dan setiap pengalihan informasi kehilangan konteks yang dibutuhkan oleh agen berikutnya untuk bertindak dengan benar.
“Jika ada 10 agen yang saling bertukar informasi, setiap kali pengalihan terjadi, kesalahan akan terakumulasi,” kata Ho.
Kenapa lapisan orkestrasi tidak berhasil
Ho menjelaskan bahwa dorongan awal untuk menggunakan agen spesialis muncul dari keluhan pelanggan yang sederhana. Meskipun memiliki banyak agen yang mampu adalah hal positif, pelanggan tetap harus mengelola agen-agen tersebut, memilih agen mana yang akan digunakan untuk tugas tertentu. Jawaban Intuit adalah menciptakan sistem yang dapat mengambil tugas dan mengarahkan secara internal, tanpa meminta pelanggan untuk memilih agen sendiri.
Lapisan orkestrasi ini bertahan selama sekitar tiga bulan, yang Ho sebut hanya setengah bercanda sebagai sekitar satu tahun dalam timeline pengembangan agen yang terb compressed di tahun 2026.
Penyebab kerusakannya adalah faktor struktural, bukan kapasitas. Karakteristik transfer hasil antara agen dalam bahasa alami membuat setiap agen di hilir harus menyimpulkan bagaimana agen di hulu mencapai kesimpulannya, dan kesimpulan itu semakin memburuk dengan setiap pengalihan tambahan. Rangkaian sepuluh agen tidak hanya sesekali gagal, tapi memang dirancang untuk mengakumulasi kesalahan.
Diagnosis ini yang membawa Intuit kembali ke arsitektur keterampilan dan alat.
Pembangunan ulang 60 hari, dan apa yang diperlukan untuk mendapatkan dukungan tim teknis
Pembangunan ulang sistem agen produksi dalam 60 hari memerlukan lebih dari sekadar keputusan arsitektural. Ho menyatakan bahwa masalah yang lebih sulit adalah meyakinkan baik pimpinan maupun insinyur yang telah membangun agen-agen asli bahwa membatalkan pekerjaan yang baru saja dilakukan adalah langkah yang tepat.
Pembicaraan dengan pimpinan didasarkan pada bukti, bukan argumen. Tim Ho membuat demo arsitektur baru menggunakan pertanyaan pelanggan nyata dari produksi, lalu menunjukkan kinerjanya yang jauh lebih baik dibandingkan sistem yang ada untuk tugas yang sama.
“Bukti terbaik, setidaknya menurut saya, adalah apa yang pelanggan coba lakukan? Sistem mana pun yang Anda bangun harus mengatasi masalah tersebut,” tambah Ho.
Mendapatkan dukungan dari tim teknis memerlukan pendekatan berbeda. Ratusan insinyur di luar tim inti Ho telah mengembangkan agen spesialis yang sekarang akan diperbarui, dan tantangannya adalah meminta mereka untuk memecah agen-agen itu menjadi keterampilan dan alat individual.
Ho menjelaskan bahwa argumen yang kuat adalah skala. Setiap agen mandiri menyelesaikan satu masalah sempit, sementara keterampilan atau alat bersama yang dibangun dalam arsitektur baru bisa melayani setiap pelanggan yang terkait dengan bagian produk tersebut. Pergeseran ini juga mengubah tanggung jawab tim mitra dari membangun agen menjadi menjalankan evaluasi, karena evaluasi menjadi satu-satunya cara untuk mengukur apakah arsitektur baru benar-benar bekerja.
Menghadirkan manusia dalam proses, dan umpan balik pada skala berbeda
Hasil paling jelas yang dihadapi pelanggan dari pembangunan ulang ini adalah fitur yang memungkinkan percakapan dengan agen live dilibatkan manusia — meski saat ini masih dalam tahap pengujian awal, dan baru diterapkan untuk sekitar 1% basis pelanggan Intuit. “Kami akan memperbesar skala ini dalam beberapa minggu ke depan,” ujar Ho.
Dia menjelaskan bahwa pelanggan bisa mengundang orang dukungan produk Intuit di tengah percakapan, atau akuntan mereka sendiri, atau salah satu petugas pembukuan Intuit, dan orang tersebut akan bergabung dengan konteks penuh dari apa yang telah dilakukan agen sebelumnya.
Ho menarik perbedaan langsung dengan cara sebagian besar produk chat AI menangani situasi yang sama. Asisten serbaguna yang menjawab pertanyaan pajak biasanya diakhiri dengan pernyataan untuk berkonsultasi dengan profesional. Sistem Intuit dibangun untuk langsung menghubungkan pelanggan dengan profesional tersebut dalam percakapan yang sama.
Handover manusia ini berdampingan dengan model izin yang dibuat khusus untuk data keuangan. Setiap tindakan yang diambil agen terhadap data keuangan pelanggan memerlukan izin eksplisit terlebih dahulu, meskipun Ho menunjukkan bahwa persyaratan ini bisa melunak seiring waktu saat pelanggan membangun kepercayaan dalam sistem. Intuit menyimpan log audit dari semua tindakan yang diambil agen yang dapat dibalik jika diperlukan.
Umum dari era AI agentik
Pembangunan ulang juga mengubah cara Intuit mengumpulkan dan menggunakan umpan balik, perubahan yang Ho sebut sangat berbeda dari sebelumnya.
“Umpan balik di masa lalu biasanya sangat sedikit, dan juga bersifat bimodal,” kata Ho. “Pelanggan sering mencintai atau membenci, dan biasanya cenderung negatif.”
Dalam sistem berbasis chat, setiap percakapan berfungsi sebagai umpan balik, yang menurut Ho memindahkan perusahaan dari sekitar 0.3% pelanggan yang pernah memberikan umpan balik eksplisit menjadi mendekati 100%.
Ho mengatakan bahwa dia kembali menulis kode sendiri untuk membangun model yang menganalisis volume umpan balik secara sistematis, mencari tahu di mana sistem mengalami kekurangan dalam skala yang tidak bisa diikuti oleh proses tinjauan manual.
Volume ini juga memiliki nada yang biasanya tidak didengar langsung oleh tim produk. Pelanggan memberi tahu agen secara langsung di mana letak kesalahan, dengan kata-kata yang sederhana.
“Mereka dengan jelas memberi tahu, ‘Anda tidak baik. Saya benci ini. Ini tidak benar,'” jelas Ho. “Tapi mereka juga bersedia memberikan kesempatan dan memperbaikinya, jadi tanggung jawab ada pada kita semua untuk mengolah umpan balik baru ini dan benar-benar memperbaiki sistem.”
