Narasi seputar AI di dunia usaha saat ini sedang mengalami perubahan cepat, dari euforia tahap percobaan menuju kenyataan yang lebih menantang di fase produksi. Saat organisasi berupaya mengintegrasikan AI generatif ke dalam alur kerja mereka, banyak yang menemukan hambatan yang lebih berkaitan dengan cara model-model ini diterapkan daripada dengan kemampuan teknologi itu sendiri.
Perusahaan semakin menyadari bahwa masalah sebenarnya bukan terletak pada AI-nya, tetapi pada anggapan bahwa setiap tugas memerlukan model paling canggih yang ada. Ini memicu fenomena “tokenmaxxing”, yaitu kecenderungan untuk selalu memilih model yang terbesar dan termahal, sekalipun alternatif yang lebih kecil dan lebih murah bisa menyelesaikan tugas yang sama.
Alih-alih mencocokkan model yang tepat dengan pekerjaan yang tepat, banyak organisasi beranggapan bahwa setiap alur kerja memerlukan kecerdasan tingkat tinggi. Akibatnya, over-engineering dalam otomatisasi ini menyebabkan penurunan profitabilitas. Ketika perusahaan memperlakukan setiap masalah seolah membutuhkan model yang canggih, biaya infrastruktur pun melambung tak terhindarkan, melebihi nilai keluaran yang dihasilkan.
Saat ini, pasar sedang menyaksikan konsekuensi dari pendekatan ini, di mana laporan menunjukkan banyak perusahaan besar menghabiskan anggaran AI mereka dalam hitungan bulan dan membatalkan lisensi internal ketika biaya terus meroket.
Dengan banyaknya perusahaan yang terkejut oleh biaya AI, semakin jelas bahwa pengeluaran di bidang ini sering kali melampaui nilai nyata yang diberikan. Masalah inti adalah bahwa keberhasilan proyek percobaan yang terisolasi sering dijadikan tolok ukur untuk inisiatif AI di perusahaan saat ini. Dalam proyek percobaan, variabelnya terbatas dan biaya per proses terlihat lebih terkelola. Namun, begitu proyek tersebut diterapkan secara luas, realitas produksi yang rumit dengan berbagai kasus, percobaan berulang, dan variabilitas tinggi pun akan mengemuka.
Karena AI berbasis probabilitas menghasilkan biaya berbeda untuk setiap eksekusi, ini menciptakan pengeluaran yang tidak dapat diprediksi, yang sulit diperkirakan oleh departemen keuangan. Dengan perangkat lunak tradisional, anggaran tetap sesuai dengan biaya yang dapat diprediksi per tugas. Namun dengan AI, stabilitas tersebut hilang. Ketika proses yang sama bisa menelan biaya satu dolar pada satu hari dan seratus dolar keesokan harinya, anggaran operasional pun tidak bisa dipindahkan secara aman.
Inilah mengapa 80% perusahaan mengakui bahwa mereka meleset dari proyeksi biaya AI lebih dari 25%, dan lebih dari 95% proyek percobaan AI generatif gagal mencapai produksi yang berarti. Saat ini, perusahaan tidak tengah mengoptimalkan rasio biaya terhadap nilai; mereka malah merasakan hal itu dengan cara yang sulit, sering kali setelah kerugian finansial terjadi. Bagi banyak pemimpin, satu-satunya pilihan tersisa adalah “menggunakan lebih sedikit”, yang berarti membatasi penggunaan atau akses.
Namun, respons ini terbilang keliru. Kejutan nyata bukan hanya pada besarnya tagihan, tetapi pada kenyataan bahwa satu-satunya pilihan manajemen adalah membatasi konsumsi. Dengan mengatur akses, organisasi secara efektif mengakui bahwa penerapan AI mereka terlalu mahal untuk dioperasikan secara besar-besaran, mengubah potensi keunggulan kompetitif menjadi langkah defensif.
Saat ini, mayoritas organisasi fokus pada optimisasi pemilihan model, memutuskan model mana yang seharusnya menangani tugas tertentu. Tetapi peluang yang lebih besar adalah dengan mengoptimalkan pekerjaan itu sendiri. Karena biaya direset setiap kali permintaan baru dimulai dalam model besar, menganggap setiap tugas memerlukan LLM dengan level tinggi dapat dengan cepat menjadi kesalahan mahal.
Alat penetapan jalur standar beroperasi pada tingkat permintaan: mereka melihat tugas yang masuk dan meneruskannya ke model yang dianggap memadai. Namun model tersebut tetap menjalankan seluruh tugas sebagai generasi tunggal yang tidak jelas. Yang dioptimalkan hanya adalah model mana yang menjawab, dan tidak ada yang dihasilkan membuat eksekusi berikutnya lebih murah. Skala yang sebenarnya memerlukan pendekatan yang lebih dalam.
Ini memerlukan perubahan menuju arsitektur yang memiliki proses bisnis, bukan hanya mengandalkan model yang ada. Daripada hanya meneruskan pekerjaan ke titik akhir, pendekatan arsitektural ini mengelola proses itu. Ia duduk di atas model individu, memecah alur kerja menjadi langkah-langkah terpisah yang didukung kode, menghasilkan jejak yang dapat diaudit di setiap tahap.
Pilihan arsitektur ini memisahkan optimisasi struktural dari manajemen biaya yang dangkal, memberikan tingkat efisiensi yang tidak bisa dicapai oleh alat penetapan jalur konvensional. Peralihan ini mengarah pada struktur biaya yang lebih efisien, membagi komputasi ke dalam langkah-langkah khusus yang didukung kode, meningkatkan pemanfaatan sumber daya, dan mengubah cara alur kerja dieksekusi.
Misalnya, dalam alur kerja pemrosesan pinjaman yang bervolume tinggi, pendekatan ini meningkatkan ekonomi keseluruhan dengan mengurangi ketergantungan pada inferensi model yang mahal di mana itu tidak diperlukan. Mengarah ke arsitektur yang modul dan berbasis proses memberikan jalur berkelanjutan untuk mengelola biaya operasi bervolume tinggi.
Karena proses tersebut terputus dari penyedia tertentu, organisasi memiliki fleksibilitas penuh. Mereka dapat menerapkan strategi optimisasi secara bebas, berganti antara LLM canggih, bobot sumber terbuka, dan model khusus yang lebih kecil seiring kebutuhan performa dan biaya berkembang, tanpa perlu membangun kembali infrastruktur inti mereka.
Dan karena setiap eksekusi menghasilkan jejak logika, pemanggilan alat, dan hasil yang dapat diaudit, catatan tersebut menjadi aset data yang berharga, meningkatkan alternatif khusus yang sudah tahu cara menangani tugas yang dapat diprediksi tanpa harus kembali ke pemanggilan umum.
Tujuan dari pendekatan baru ini adalah beralih dari AI sebagai eksperimen yang terbatas ke AI sebagai cara standar untuk menyelesaikan pekerjaan. Ketika tugas kognitif berulang, seperti verifikasi data atau konfirmasi pengungkapan, ditangani oleh pekerja digital otomatis, peran manusia pun berubah sepenuhnya. Analis tidak perlu lagi menghabiskan waktu mereka membuka file dan memasukkan data; mereka bisa berfokus pada pengecualian dengan penilaian tinggi, strategi kompleks, dan pemecahan masalah kreatif.
Ini adalah janji adopsi AI yang berkelanjutan. Dengan mengubah pengeluaran yang tidak dapat diprediksi menjadi basis biaya yang diketahui dan fokus pada merekayasa ulang alur kerja daripada hanya mengganti model, perusahaan bisa membuka pintu air yang lebar. Ini memberikan organisasi jalur menuju ROI yang berkelanjutan dan terukur seiring dengan pertumbuhan adopsi, memberdayakan tenaga kerja mereka untuk fokus pada pekerjaan bernilai tinggi yang tidak dapat direplikasi oleh teknologi.
Masa depan AI di dunia usaha tidak akan ditentukan hanya oleh kemampuan model, tetapi oleh kemampuan untuk menerapkan sistem AI yang integral yang akhirnya membuat teknologi ini ekonomis pada skala besar. Saatnya meninggalkan era eksperimen yang tidak berkelanjutan dan mengadopsi pendekatan arsitektural yang disiplin dalam penerapan AI. Bagi organisasi yang siap melangkah lebih jauh dari tahap percobaan, tantangannya bukan lagi membuktikan bahwa AI bekerja. Tetapi menjadikannya cukup ekonomis untuk skalanya.
