Poin Utama
- Meluncurkan alat AI baru setiap kali ada pembaruan kecil malah bisa berdampak negatif, karena setelah semua usaha yang dilakukan untuk model baru, pelanggan mungkin tak merasakan adanya perbaikan.
- Model yang secara teknis lebih baik belum tentu menjadi keputusan bisnis yang lebih baik.
Banyak pendiri mengira bahwa setiap peningkatan akurasi model AI pantas untuk dirilis ke produksi. Namun, ketika biaya pengujian, penerapan, pemantauan, dan tenaga kerja teknik dihitung, meluncurkan model yang sedikit lebih baik bisa menghasilkan hasil bisnis yang lebih buruk.
Bayangkan tim AI Anda sudah melatih model baru yang memiliki performa 0,2% lebih baik daripada versi yang saat ini digunakan oleh pelanggan. Dengan rasa senang, para ilmuwan data menganggap kandidat ini lebih baik, sehingga semua orang berasumsi bahwa model ini harus segera menggantikan yang lama. Tapi sebenarnya, pekerjaan produksi yang sesungguhnya baru saja dimulai.
Kandidat ini harus melewati serangkaian pengujian keamanan dan integrasi yang ketat sebelum para insinyur bisa mengemasnya, menerapkannya dalam lingkungan uji, dan memvalidasi perilakunya. Selain itu, tim mungkin perlu menjalankan rilis bayangan atau rilis canary, memperbarui aturan pemantauan, mendokumentasikan perubahan, dan menyiapkan rencana rollback yang mendetail. Pada akhirnya, ketika model baru ini sampai ke produksi, perusahaan telah mengeluarkan biaya jauh lebih besar dibandingkan dengan biaya pelatihan awal, namun pelanggan mungkin tidak akan melihat adanya perbaikan.
Ini menggarisbawahi salah satu kesalahpahaman paling mahal dalam penerapan kecerdasan buatan: Model yang lebih baik secara teknis tidak otomatis membuatnya menjadi keputusan bisnis yang lebih baik.
Akurasi dan nilai bisnis tidaklah sama
Akurasi mengukur performa teknis, sedangkan nilai bisnis mengukur apakah performa tersebut benar-benar memperbaiki hasil yang penting bagi perusahaan.
Mari kita lihat dua sistem AI yang berbeda. Yang pertama mendeteksi transaksi keuangan yang mungkin curang, di mana sedikit peningkatan dalam recall bisa membantu mengidentifikasi tambahan penipuan, mencegah kerugian, dan melindungi pelanggan. Dalam skenario berisiko tinggi ini, bahkan sedikit persentase bisa menghasilkan nilai yang substansial ketika sistem memproses jutaan transaksi.
Sementara itu, bayangkan sistem kedua yang merangkum tiket bantuan internal. Peningkatan serupa dalam metrik offline di sini mungkin secara statistik valid, tapi tetap praktis tak terlihat dalam operasi sehari-hari. Karyawan kemungkinan tidak akan menyelesaikan pekerjaan mereka dengan lebih cepat, yang berarti perusahaan tidak akan melihat pengurangan biaya dukungan. Meski peningkatan teknis dalam kedua skenario ini mirip, nilai ekonominya sangat berbeda.
Sebelum menyetujui model baru, Anda harus menentukan seberapa berharga satu unit peningkatan tersebut. Nilai ini bisa diukur dalam hal:
- Kerugian penipuan yang terhindarkan
- Penjualan tambahan yang dikonversi
- Jam kerja karyawan yang dihemat
- Pengaduan pelanggan yang dicegah
- Kesalahan peramalan yang dikurangi
- Tinjauan manual yang dihilangkan
Jika tim Anda tidak dapat mengaitkan peningkatan akurasi model dengan salah satu hasil riil ini, perusahaan belum memiliki informasi yang cukup untuk membenarkan rilis tersebut.
Hitung total biaya pembaruan model
Banyak perusahaan menghitung biaya pembaruan AI secara keliru dengan hanya melihat pada biaya pelatihan, yang sama seperti memperkirakan biaya membuka restoran dengan hanya menghitung harga oven. Pelatihan hanyalah bagian kecil dari sistem yang jauh lebih besar.
Sebagaimana ditunjukkan dalam penelitian Google tentang utang teknis tersembunyi dalam sistem pembelajaran mesin, kode model hanya merupakan bagian kecil dari sistem AI yang diproduksi. Ketergantungan data, pengujian, pemantauan, dan infrastruktur pendukung menciptakan kompleksitas jangka panjang yang signifikan. Lebih jauh lagi, kerangka Kerja Skor Uji ML Google menunjukkan bahwa kesiapan produksi tergantung pada jauh lebih banyak daripada hanya skor kualitas offline model.
Perhitungan biaya yang realistis harus meliputi:
- Persiapan dan validasi data
- Pelatihan dan eksperimen model
- Pengujian keamanan dan privasi
- Evaluasi keadilan atau ketahanan
- Pembuatan kontainer atau paket
- Pemindaian ketergantungan dan kerentanan
- Pengujian integrasi
- Provisioning infrastruktur
- Pengujian bayangan atau canary
- Perubahan pemantauan
- Dokumentasi dan persetujuan
- Tinjauan rekayasa
- Risiko insiden dan rollback
- Potensi gangguan pelanggan
Pembeda ini sangat penting karena jalur pelatihan otomatis dapat membuat eksperimen tampak kurang biaya. Pekerjaan yang benar-benar mahal sering kali baru dimulai setelah pelatihan, tepat ketika kandidat memasuki proses rilis produk.
Penelitian saya yang dipublikasikan pada IEEE Access tentang Skor Efisiensi Pelatihan membahas pertanyaan penting: Kapan organisasi harus mengedepankan model peramalan yang baru dilatih dibandingkan mempertahankan model yang ada?
Setelah mengevaluasi 2.320 pengujian terkontrol di empat dataset time-series publik dan empat arsitektur peramalan, hasilnya jelas: Organisasi tidak harus memilih antara terus merilis model baru dan meninggalkan model lama tanpa perubahan. Sebaliknya, kebijakan promosi yang selektif memungkinkan Anda untuk mempertahankan model saat ini ketika peningkatan yang diharapkan terlalu kecil dan hanya menyetujui yang baru ketika keuntungan membenarkan biaya operasionalnya.
Pendiri bisa menerapkan prinsip ini tanpa melibatkan kerangka matematis yang rumit dengan cukup meminta tim mereka menjawab empat pertanyaan penting sebelum merilis model apapun:
1. Apakah model ini meningkatkan hasil yang relevan untuk bisnis? Jangan terima “skor meningkat” sebagai jawaban lengkap. Tanyakan metrik mana yang meningkat, apa pentingnya metrik tersebut, dan apakah itu berkorelasi langsung dengan hasil pelanggan atau operasional.
2. Apakah pelanggan atau operasional akan merasakan perbedaannya? Perubahan yang bisa diukur secara teknis tetap bisa tidak relevan secara komersial. Perkirakan berapa banyak keputusan, pengguna, atau transaksi yang akan dipengaruhi oleh perubahan tersebut, lalu hitung apakah perubahan itu akan secara signifikan memperbaiki pendapatan, risiko, biaya, kecepatan, atau pengalaman pelanggan secara keseluruhan.
3. Apa total biaya untuk merilisnya? Ini harus mencakup pelatihan, pengujian, tinjauan keamanan, penerapan, pemantauan, dan tenaga rekayasa. Penting, Anda juga harus memperhitungkan biaya kesempatan; setiap jam yang dihabiskan untuk merilis model yang sedikit lebih baik adalah jam yang tidak bisa digunakan untuk memperbaiki produk inti, memperbaiki masalah ketahanan, atau membangun fitur yang sangat diminta.
4. Apakah peningkatan ini membenarkan biaya dan risiko tambahan? Bandingkan nilai yang diharapkan dari peningkatan dengan total biaya rilis yang lengkap. Perusahaan sebaiknya hanya mempromosikan kandidat ketika jawabannya adalah ya yang definitif. Jika kasus bisnisnya tidak pasti, pilihan disiplin adalah mempertahankan model saat ini, mengumpulkan lebih banyak bukti, dan mengevaluasi kembali nanti.
Menjaga model saat ini bisa jadi keputusan yang disiplin
Karena tim AI sering kali dihargai atas rilis model baru, mempertahankan yang sudah ada bisa tampak seolah stagnasi. Padahal, menjaga model yang sudah memenuhi harapan pelanggan, memiliki biaya yang dapat diprediksi, dan profil risiko yang diketahui sering kali adalah pilihan teknik yang lebih cerdas.
Sebuah model baru, meskipun memiliki skor offline yang lebih baik, membawa ketidakpastian. Model tersebut mungkin gagal pada input yang tidak umum, mengguncang sistem hilir, atau menghasilkan kesalahan baru. Ini berarti pengembangan model dan promosi model harus dianggap sebagai keputusan yang terpisah. Tim Anda seharusnya terus bereksperimen dan melatih kandidat tanpa merasa terpaksa untuk memaksakan setiap “pemenang” ke dalam produksi.
Pendiri menerapkan disiplin finansial yang ketat pada perekrutan dan pengembangan produk; rilis AI pantas mendapatkan pengawasan yang sama. Karena setiap model baru mengkonsumsi modal, perhatian operasional, dan kapasitas teknik, maka ia harus memberikan pengembalian yang nyata.
Untuk menegakkan hal ini, minta catatan sederhana untuk setiap rilis yang diusulkan, merincikan peningkatan teknis, nilai bisnis yang diharapkan, total biaya penerapan, dan risiko baru yang muncul. Seiring waktu, dokumentasi ini akan menunjukkan peningkatan mana yang benar-benar menciptakan nilai, dibandingkan dengan yang hanya membuat dasbor internal terlihat lebih baik.
Akhirnya, tujuan bukanlah untuk menghambat inovasi, tetapi untuk mengarahkannya pada hasil yang dapat dirasakan oleh pelanggan dan bisnis Anda. Ketika tim AI Anda mempersembahkan model yang lebih akurat, jangan hanya bertanya apakah itu lebih baik. Tanyalah apakah itu cukup lebih baik.
