Infrastruktur lama, bukan modelnya, yang sebenarnya memperlambat agen AI. Kesimpulan ini diambil oleh tiga pemimpin infrastruktur dari LinkedIn, Walmart, dan Zendesk saat acara VB Transform 2026.
Di panel ini, Animesh Singh, direktur senior platform dan infrastruktur AI di LinkedIn, Desiree Gosby, SVP layanan teknologi dan strategi teknologi di Walmart, dan Sami Ghoche, VP AI terapan di Zendesk, saling berbagi pengalaman tentang masalah yang dihadapi saat memindahkan agen dari tahap percobaan ke produksi. Ketiganya mencapai kesimpulan yang sama, yaitu tidak ada masalah yang berkaitan dengan model.
Yang mengikat jawaban mereka adalah asumsi bersama: sebagian besar infrastruktur perusahaan dibangun untuk cara kerja manusia, bukan untuk cara kerja agen. Di situlah letak perbedaan kecepatan yang sebenarnya terjadi dalam rekayasa.
Gosby menjelaskan dengan jelas ketika ditanya tentang pelajaran yang didapat saat memperluas penggunaan agen di dalam tenaga kerja Walmart. Tujuannya, menurutnya, adalah untuk memastikan bahwa “rekayasa tidak lagi menjadi bottleneck untuk apa yang ingin kami capai.”
Di mana sebenarnya bottleneck itu berada
Setiap perusahaan menghadapi versi berbeda dari dinding yang sama: infrastruktur yang dirancang untuk cara kerja manusia tidak memenuhi kebutuhan saat agen menjalankan pekerjaan tersebut.
Di LinkedIn, bottleneck pertama bukanlah model, melainkan Kubernetes, yang menganggap bahwa wadah akan muncul sesuai permintaan, sebuah proses yang memakan waktu beberapa detik. Singh mengatakan itu terlalu lambat untuk agen. Solusinya adalah dengan beralih dari penyediaan sesuai permintaan ke kolam wadah yang sudah dipersiapkan sebelumnya, yang dapat menghasilkan beban kerja agen secara real-time.
Masalah kedua yang lebih sulit muncul setelah LinkedIn memberi agen kendali atas orkestrasi mereka sendiri. Sistem evaluasi lima poin tampak mudah, tetapi tetap muncul masalah hallucination. Menurut Singh, masalah ini bersifat struktural; LLM yang mengevaluasi hasil LLM lain berbagi mode kegagalan yang sama dengan yang sedang dievaluasi.
“Kami membangun harness kami sendiri, alur kontrol kami sendiri, dan mendorong LLM ke leaf daripada mereka yang mengorkestrasi loop,” kata Singh. Sekitar 80% dari alur kerja kini adalah kode yang terstruktur dan deterministik, di mana LLM digunakan hanya saat diperlukan untuk menarik kesimpulan, dan bukti setiap langkah disimpan di disk sebelum sistem berlanjut.
Bottleneck Walmart muncul dari kesuksesan. Sebuah harness agen yang langsung diberikan ke tangan karyawan menjadi viral di internal, dan apa yang disebut Gosby sebagai “pengembang warga” mulai membuat agen mereka sendiri untuk menyelesaikan masalah yang sebelumnya memerlukan peta rekayasa formal. Keuntungannya adalah inovasi yang nyata. Namun, kerugiannya adalah duplikasi, dengan puluhan agen yang tumpang tindih tanpa koordinasi. Solusinya bukan mengendalikan harness, melainkan membangun tata kelola untuk mendeteksi duplikasi, mempromosikan versi terbaik dari sebuah agen, dan memproduksinya tanpa rekayasa menjadi penghalang.
Zendesk mengalami bottleneck dari sisi data. Ghoche, yang bergabung melalui akuisisi Zendesk terhadap Forethought yang ditutup pada Maret 2026, menggambarkan memiliki apa yang disebutnya sebagai data sebesar 20 miliar percakapan pelanggan di repositori Zendesk. Instinknya adalah menyerahkan sejarah tersebut kepada model bahasa besar dengan jendela konteks yang luas dan membiarkannya menghasilkan agen yang diperlukan bisnis. Namun, Ghoche mengatakan cara itu tidak berhasil. “Anda tidak bisa benar-benar melakukan itu, jadi Anda harus berinvestasi serius dalam saluran data yang mendasarinya dan semua infrastruktur data yang menyertainya,” ungkapnya.
Peran open source
Tentang open source, ketiga pemimpin ini memiliki pandangan yang sama: miliki apa yang bisa dimiliki, dan bergantunglah pada laboratorium terdepan hanya di mana mereka masih memiliki keunggulan yang jelas.
Ghoche mengatakan bahwa kebanyakan perusahaan lebih memilih untuk memiliki model dan infrastruktur mereka sendiri sebisa mungkin, dan alasan inilah yang menjadi dasar pendekatan Zendesk. Pengecualiannya adalah pekerjaan reasoning frontier, di mana laboratorium masih memimpin, meskipun ia menyatakan bahwa bagian dari use case ini semakin menyusut dibandingkan dengan yang lain yang sekarang dilakukan perusahaan dengan AI.
Jawaban LinkedIn adalah membangun dua subsistem khusus untuk kebebasan. Yang pertama adalah apa yang disebut perusahaan sebagai gateway AI, satu antarmuka yang menjadi jalur setiap panggilan keluar ke model, terlepas dari penyedia. Komponen kedua adalah subsistem memori yang dirancang untuk menyimpan konteks yang independen dari penyedia model mana pun.
“Setiap panggilan keluar yang menuju LLM, baik di cloud publik atau di pusat data kami sendiri, mengikuti semantik yang sama, panggilan API yang sama. Kami dapat dengan cepat beralih antara penyedia yang berbeda,” tambah Singh.
Walmart membangun gateway internalnya sendiri agar tetap netral terhadap vendor di tiga jenis beban kerja: alur kerja yang sepenuhnya deterministik, alur kerja perencana-dan-pemikir untuk tugas terbuka, dan hybrid dari keduanya. Pekerjaan yang penuh kepatuhan tetap deterministik secara desain; tata kelola, keamanan, dan evaluasi berjalan melalui gateway terlepas dari model mana yang ada di ujung lain. Gosby menyatakan bahwa pilihan antara model frontier dan model open-weight bergantung pada mana yang paling efektif untuk beban kerja tertentu, bukan pada kebijakan yang tetap.
Saran untuk perjalanan modernisasi
Tiga saran muncul secara langsung, masing-masing terkait dengan tantangan yang sudah dihadapi oleh pemimpin.
Investasi di evaluasi sebelum segalanya. Ghoche menyebutnya sebagai hal yang umum untuk setiap use case, baik yang internal maupun yang berhadapan dengan pelanggan.
“Hal yang umum dari semua ini adalah evaluasi. Ini akan mendorong Anda untuk memecahkan masalah, dan setelah Anda memiliki set evaluasi yang kuat, Anda bisa bergerak jauh lebih cepat,” ujarnya.
Miliki harness agen Anda sejak hari pertama. Saran Gosby adalah untuk langsung memberikan harness AI ke tangan karyawan lebih awal, dengan infrastruktur untuk memantau apa yang dihasilkan.
“Ini akan membuka banyak inovasi,” tuturnya.
Membangun untuk independensi model dan konteks. Memastikan fleksibilitas sangat krusial untuk kesuksesan.
“Bangun untuk independensi, apakah itu model frontier saat ini atau model open source di masa depan,” kata Singh. “Simpan konteks itu di dalam perusahaan Anda agar bisa digunakan kembali ketika Anda meluncurkan model atau harness di masa depan,” pungkasnya.
