Beberapa perusahaan menghadapi risiko yang lebih besar ketika menerapkan AI dibandingkan Waymo, perusahaan mobil otonom yang berdiri sendiri di bawah Alphabet dan bermula dari Google. Model-model AI Waymo tidak sekadar menghasilkan teks atau mengotomatiskan tugas-tugas di kantor. Mereka membantu kendaraan menavigasi jalan yang tidak terduga, merespons pengemudi manusia, dan mengambil keputusan dalam sekejap di dunia nyata.
Tapi metode yang digunakan Waymo untuk mengelola risiko ini—evaluasi berkelanjutan, data yang dikelola dengan baik, pengawasan manusia, dan hasil bisnis yang jelas—memberikan panduan yang lebih luas bagi perusahaan dalam menerapkan agen AI di hampir semua sektor.
Manasi Joshi, direktur teknik Waymo untuk kecerdasan sistem dan pembelajaran mesin, menjelaskan di VB Transform 2026 bagaimana perusahaan mobil otonom ini melatih, menguji, dan menerapkan AI dalam skala besar. Hingga saat ini, Waymo telah menempuh lebih dari 220 juta mil sepenuhnya otonom, atau “hanya penumpang,” dengan 17 kali lebih sedikit cedera serius akibat kecelakaan dibandingkan pengemudi manusia untuk jarak yang sama, menurut laporan perusahaan.
Untuk meraih hasil mengesankan ini, Joshi mengatakan Waymo mengadopsi apa yang ia sebut “pengembangan berbasis evaluasi.” Konsep ini menempatkan evaluasi sebagai bagian inti dari rekayasa, bukan sekadar pengecekan akhir sebelum peluncuran.
“Tahap kematangan proyek kami bisa dengan mudah diukur berdasarkan kematangan evaluasi yang mereka tunjukkan,” kata Joshi.
Dalam praktiknya, Waymo menilai kesiapan sebuah proyek dengan memeriksa kematangan tes di sekitarnya. Pendekatan ini jelas memiliki implikasi untuk perusahaan yang membangun agen layanan pelanggan, asisten kode, sistem keuangan, atau aplikasi AI lainnya: Jika sebuah perusahaan tidak dapat mengukur kinerja sistem dengan dapat diandalkan, mungkin sistem tersebut belum siap untuk diluncurkan.
Evaluasi harus berlanjut setelah peluncuran
Joshi menyatakan bahwa banyak pekerjaan kualitas Waymo kini berfokus pada evaluasi, termasuk tes yang dilakukan selama pelatihan model, setelah pelatihan, dan di dalam simulasi terbuka dan tertutup.
“Evaluasi bukanlah tugas sekali saja saat meluncurkan model,” ujarnya.
Waymo justru menganggap evaluasi sebagai proses berkelanjutan yang mencakup berkendara, simulasi, dan validasi. Metodologinya menggabungkan dataset, metrik kinerja, dan infrastruktur yang mampu beroperasi efisien dalam skala besar.
Bagi perusahaan, itu berarti menguji agen sebelum peluncuran tidaklah cukup. Tim juga harus terus mengevaluasi seiring perubahan model dasar, proses bisnis, perilaku pengguna, dan data yang masuk. Evaluasi tersebut juga perlu terhubung dengan hasil bisnis yang nyata, bukan hanya bergantung pada tolok ukur industri yang umum.
Joshi menekankan bahwa pengukuran kualitas model hanya bisa diandalkan jika didukung oleh data evaluasi yang kuat. Oleh karena itu, Waymo mengaitkan klaim kinerjanya dengan informasi tentang sifat dataset yang digunakan untuk menguji sistemnya.
Menguji kasus-kasus langka dan berbahaya
Hierarki evaluasi Waymo tetap berpegang pada satu tujuan utama: keselamatan.
Perusahaan ini memanfaatkan catatan berkendara pertama, beberapa data dari pihak ketiga, dan simulasi realistis yang mengekspos sistemnya pada skenario yang mencakup miliaran mil sintetis. Pemilik tugas memilih data dan metrik khusus untuk situasi yang melibatkan pengguna jalan yang rentan, persimpangan rel kereta, area konstruksi, dan lingkungan kompleks lainnya.
Prinsip yang sama berlaku di luar bidang berkendara otonom. Perusahaan perlu menguji tidak hanya permintaan rutin yang berhasil ditangani agen mereka, tetapi juga situasi luar biasa di mana kesalahan dapat menyebabkan kerugian finansial, hukum, keamanan, atau reputasi.
Joshi menekankan bahwa Waymo tidak menyerahkan keputusan rilis sepenuhnya kepada sistem otomatis. Tinjauan kesiapan produksi mereka mencakup pengawasan manusia yang ekstensif, sementara pemimpin keamanan internal menyetujui rilis perangkat lunak dan perluasan area layanan.
“Ini bukan AI yang sepenuhnya otomatis dan tanpa pengawasan manusia. Nyawa manusia dipertaruhkan,” ujarnya.
Efisiensi tidak boleh mengorbankan keandalan
Waymo menghadapi masalah lain yang akrab bagi tim AI di perusahaan: Permintaan untuk komputasi, penyimpanan, memori, dan kapasitas jaringan tumbuh lebih cepat daripada sumber daya yang tersedia.
Perusahaan ini terus mengejar efisiensi dalam ekstraksi dan penyimpanan data, pelatihan model terdistribusi, distilasi model, simulasi, dan evaluasi. Mereka juga menekankan “efisiensi data,” dengan memilih contoh pelatihan yang paling berguna daripada hanya menganggap volume yang lebih besar lebih baik.
Waymo mulai menggunakan transformator pada 2017 dan kemudian memperluas ke model bahasa besar, model bahasa-visual, dan model tindakan bahasa-visual. Joshi menyebutkan bahwa kini perusahaan menggunakan model multimodal generatif sebagai bagian dari strategi model dasarnya.
Waymo membagi teknologinya antara sistem onboard di dalam setiap kendaraan dan infrastruktur off-board yang digunakan untuk pengembangan model, pemrosesan data, dan simulasi. Kombinasi ini memaksa perusahaan untuk mengoptimalkan baik inferensi waktu nyata maupun sistem yang mendukungnya.
Agen perlu evaluasi sendiri
Waymo juga menggunakan agen AI secara internal sebagai alat produktivitas untuk insinyur. Joshi mengatakan agen membantu menganalisis distribusi data, menilai efisiensi data, dan mengatasi masalah yang ditemukan dalam telemetri kendaraan, pelatihan, dan pekerjaan evaluasi yang gagal.
Tujuannya adalah mempercepat pekerjaan investigasi agar insinyur dapat lebih banyak waktu untuk menilai dan menyelesaikan masalah teknis yang sulit. Namun Waymo juga mengevaluasi agen tersebut untuk memastikan mereka menghasilkan hasil yang terpercaya dan akurat, bukan membimbing karyawan ke arah yang tidak produktif.
Bagi para pemimpin perusahaan, pelajaran yang lebih besar dari Waymo adalah bahwa AI yang memiliki fungsi agen memerlukan lebih dari sekadar memilih model yang kuat. Organisasi butuh tujuan yang jelas, data evaluasi yang representatif, pengujian berkelanjutan, infrastruktur yang bisa beroperasi efisien, dan pengambil keputusan manusia yang bertanggung jawab atas penerapan.
“Mendapatkan kepercayaan itu sangat penting,” kata Joshi.
