Pajak Tersembunyi yang Mengintai Ambisi AI Anda

Setiap perusahaan yang saya ajak bicara saat ini mengeluhkan hal yang sama, hanya dikemas dengan bahasa yang berbeda. Tagihan AI mereka meningkat jauh lebih cepat daripada yang dibudgetkan. Invoice model mereka terlihat wajar jika dilihat secara terpisah. Namun, di antara persetujuan dewan dan pernyataan cloud bulanan, uang menghilang dengan cara yang tidak bisa dijelaskan sepenuhnya.

Masalah utamanya adalah bagian paling mahal dari AI tidak selalu terletak pada model itu sendiri. Melainkan infrastruktur, orkestrasi, pengulangan, GPU yang tidak terpakai, konteks yang terlalu besar, dan keputusan pengaturan yang tidak efisien yang memisahkan permintaan pengguna dari respons akhirnya. Ini saya sebut sebagai pajak tersembunyi dalam adopsi AI, dan itu tumbuh lebih cepat daripada yang terlihat oleh kebanyakan organisasi.

Tiga angka yang harus mengubah cara pikir Anda

Baru-baru ini di FinOps X di San Diego, ada proyeksi dari Goldman Sachs yang dipresentasikan di atas panggung. Konsumsi token perusahaan secara global saat ini sekitar enam kuadriliun token. Proyeksi tiga tahun ke depan: 120 kuadriliun. Ini bukan kesalahan pembulatan… itu adalah ekspansi 20 kali lipat, dan semuanya datang lebih cepat daripada kerangka tata kelola yang bisa mengaturnya.

Konferensi yang sama juga menjadi momen peluncuran Tokenomics Foundation, sebuah lembaga netral vendor di bawah Linux Foundation yang didedikasikan khusus untuk ekonomi konsumsi token AI. Komunitas FinOps, yang telah menghabiskan waktu hampir satu dekade membangun disiplin seputar pengeluaran cloud computing, menyadari bahwa token mewakili masalah yang sangat berbeda, bukan sekadar versi yang lebih sulit dari optimisasi biaya cloud.

Ketika organisasi menjalankan beban kerja cloud, biayanya relatif jelas. Anda menyediakan komputasi, sistem berjalan, dan Anda menerima tagihan. Namun dengan token AI, hubungan antara tindakan dan biaya terputus di tiga lapisan, dan kebanyakan organisasi hanya memiliki visibilitas ke satu lapisan saja.

Produksi → konsumsi → nilai: tiga lapisan yang sering diabaikan

Lapisan pertama adalah produksi. Sebelum model AI merespons permintaan, infrastruktur Anda harus memproduksi token tersebut. Cluster GPU, node inferensi, kebijakan autoscaling, dan konfigurasi Kubernetes: ini adalah pabrik token Anda. Efisiensi mereka, atau ketidakcukupannya, menentukan biaya dasar dari semua yang mengikuti. Sebuah node GPU dengan pemanfaatan 30% adalah pabrik mahal yang beroperasi hanya sepertiga dari kapasitasnya.

Lapisan kedua adalah konsumsi. Di sinilah ekonomi yang kontradiktif tinggal, dan inilah yang sering menjadi fokus saya. Dua organisasi bisa mengirim permintaan yang identik ke agen pemrograman yang berbeda dan mendapatkan biaya yang sangat berbeda berdasarkan bagaimana mereka mengelola konteks, caching, pengulangan, routing, dan infrastruktur yang mendukung inferensi.

Panjang prompt, penggunaan jendela konteks, strategi caching, dan keputusan routing model semua berakumulasi. Asumsi umum bahwa mengarahkan tugas ke model yang lebih murah akan selalu menghemat biaya token, sering kali ternyata salah. Keputusan routing yang membatalkan cache hangat bisa menjadikan panggilan model yang “lebih murah” lebih mahal daripada opsi frontier yang seharusnya digantikan. Ini adalah efek urutan kedua yang tidak muncul dalam dashboard standar, namun muncul dalam tagihan bulanan Anda.

Lapisan ketiga adalah nilai. Ini adalah lapisan yang nyaman bagi tim FinOps, namun menjadi yang paling tidak penting sampai Anda mengendalikan dua lapisan sebelumnya. Memetakan pengeluaran token ke hasil bisnis adalah disiplin yang sah dan penting. Namun Anda tidak bisa mengatur di lapisan nilai tanpa instrumen di lapisan produksi dan konsumsi. Anda melakukan perhitungan dengan input yang tidak lengkap.

Mengapa 85% pengeluaran AI Anda mungkin tidak teralokasi dengan benar

Saya melihat pola yang konsisten. Organisasi memperlakukan model AI frontier, yang paling canggih dan paling mahal, sebagai infrastruktur default mereka. Setiap tugas dialihkan ke model yang sama. Setiap permintaan disusun dengan cara yang sama. Tidak ada logika routing, tidak ada tingkatan, dan tidak ada pembeda arsitektural antara pekerjaan yang benar-benar memerlukan kemampuan penuh dari model frontier dan pekerjaan yang tidak.

Berdasarkan pengamatan saya di berbagai organisasi yang menerapkan AI secara besar-besaran, sekitar 15% tugas pengembangan perangkat lunak benar-benar memerlukan kemampuan model frontier. Sisanya, atau 85% dari pekerjaan coding rutin, ringkasan, klasifikasi, dan pengambilan data bisa ditangani oleh model yang lebih kecil, lebih cepat, dan lebih murah, jika infrastruktur Anda memungkinkan keputusan tersebut dibuat secara cerdas dan otomatis.

Solusi yang lebih baik bukan tentang memilih model yang lebih baik secara manual. Pemilihan model secara manual tidak skalabel dan menurunkan pengalaman pengembang dengan memperkenalkan gesekan saat seorang pengembang perlu bergerak cepat. Solusinya adalah membangun infrastruktur yang membuat keputusan routing untuk Anda: satu yang memahami tugas, mengarahkannya ke tingkatan model yang sesuai, mengevaluasi kualitas output, dan meningkatkan jika diperlukan. Anda menentukan hasil yang dibutuhkan. Sistem yang menangani sisi ekonomi untuk mencapainya.

Arah industri saat ini menuju pembangunan kemampuan ini, dan organisasi yang membangunnya terlebih dahulu akan memiliki keunggulan biaya struktural yang berlipat ganda seiring waktu.

Invoice datang terakhir. Dan Anda menyadari ada yang sangat salah

Ada sebuah ungkapan yang mulai saya gunakan dengan pelanggan yang menangkap inti masalahnya: invoice datang terakhir. Saat Anda melihat tagihan dari penyedia model, keputusan biaya telah dibuat berminggu-minggu sebelumnya dalam konfigurasi infrastruktur, kebijakan autoscaling, dan arsitektur permintaan yang tidak pernah ditinjau lagi sejak implementasi awal.

Logika pengulangan berjalan diam-diam saat layanan hulu melambat. Node GPU yang disiapkan untuk lalu lintas puncak yang tidak pernah datang. Alur kerja agentic, di mana satu permintaan pengguna menyebar menjadi puluhan panggilan model yang dibilang secara terpisah, tidak terlihat dalam alat yang menghasilkan permintaan asli.

Biaya-biaya ini tidak muncul dalam invoice model. Biaya-biaya ini hidup di lapisan infrastruktur, di lapisan konsumsi, dan dalam kesenjangan antara bagaimana tim berpikir sistem AI mereka bekerja dan bagaimana sistem tersebut sebenarnya berperilaku di produksi. Anda tidak bisa mengatur apa yang tidak bisa Anda lihat. Saat ini, kebanyakan tim hanya melihat satu lapisan dari sebuah masalah yang memiliki tiga lapisan.

Ketika AI beralih dari copilot ke coworker, taruhannya meningkat

Ada pergeseran yang sedang berlangsung yang membuat semua ini semakin mendesak. Implementasi AI yang dibangun oleh banyak perusahaan dalam dua tahun terakhir ini adalah asisten, alat yang mempercepat pekerjaan individu dengan menangani draf pertama, saran berikutnya, dan boilerplate. Seorang manusia tetap terlibat di setiap langkah penting. Ekonominya terikat pada seberapa banyak orang menggunakan alat itu dan seberapa sering.

Agen otonom mengubah profil ekonomi sepenuhnya. Ketika sistem AI bisa menerima tujuan, membuat rencana, menjalankan pekerjaan berlapis, mengevaluasi outputnya sendiri, dan iterasi hingga selesai tanpa intervensi manusia di setiap tahap, Anda tidak lagi mengoperasikan asisten. Anda menjalankan sesuatu yang lebih mirip dengan rekan kerja, yang beroperasi terus-menerus, skala horizontal, dan menghasilkan konsumsi token dengan kecepatan yang tidak pernah dicapai oleh interaksi pengguna individual.

Transisi dari copilot ke coworker telah berlangsung. Implikasi tata kelola jauh lebih serius. Seorang copilot dengan ekonomi token yang buruk hanya mengorbankan efisiensi. Namun, agen otonom dengan ekonomi token yang buruk menjalankan ketidakefisienan itu secara besar-besaran, terus menerus, tanpa menghasilkan gesekan alami yang mendorong pengguna manusia untuk berhenti atau mengubah pendekatannya. Disiplin infrastruktur dan optimasi token harus diterapkan sebelum beban kerja otonom skala, bukan diatur ulang setelah tagihan tiba.

Mandat untuk tim infrastruktur

Jawaban yang tepat untuk masalah ini bukan dengan lebih banyak dashboard. Lebih banyak visibilitas ke dalam sistem yang tidak bisa Anda kendalikan hanya akan menghasilkan invoice yang lebih detail; invoice ini datang dengan keterlambatan yang sama, dan tidak mengubah apa pun tentang keputusan yang sudah diambil sebelumnya.

Apa yang sebenarnya dibutuhkan oleh tim infrastruktur adalah kontrol yang beroperasi di lapisan di mana biaya ditentukan, bukan di mana mereka dilaporkan. Itu berarti manajemen otonom dari beban kerja GPU dan inferensi, terus-menerus mengukur ulang untuk mencocokkan permintaan aktual daripada asumsi puncak, menyerap pola konsumsi berulang yang dihasilkan oleh pekerjaan agentic, dan memindahkan kapasitas komputasi antar penyedia ketika satu lingkungan menjadi bottleneck.

Saat ini sangat mendesak, karena transisi dari copilot ke coworker tidak memberi Anda periode tenggang untuk menambahkan disiplin. Agen otonom tidak berhenti. Mereka tidak merasa frustrasi dan memilih pendekatan yang berbeda. Mereka menjalankan ketidakefisienan yang dibangun ke dalam mereka secara besar-besaran dan terus-menerus, sampai ada sesuatu dari luar yang menghentikan mereka.

Jadi fase berikutnya dari AI perusahaan ditentukan oleh siapa yang bisa menerapkan model dengan efisien. Seiring AI menjadi lebih otonom dan konsumsi token meningkat, keunggulan kompetitif datang dari pemahaman penuh tentang ekonomi AI, bukan hanya harga dari panggilan model. Karena saat invoice tiba, keputusan yang membentuknya sudah diambil.