“Tokenmaxxing†adalah konsep menarik yang menggambarkan bahwa kesuksesan dalam pemrograman AI bergantung pada penggunaan sebanyak mungkin token. Token di sini adalah unit dasar yang digunakan oleh alat pemrograman AI untuk membaca, menulis, dan menganalisis. Jadi, secara teori, semakin banyak token yang digunakan, semakin banyak output, produktivitas, dan dampak yang dihasilkan.
Namun, setelah menganalisis sekitar 12.000 pengembang di 200 perusahaan, data menunjukkan bahwa walaupun lebih banyak token memang berhubungan dengan output yang lebih tinggi, biaya per unitnya juga meningkat secara signifikan.
Banyak organisasi saat ini mendorong para insinyur perangkat lunak untuk menggunakan token sebanyak mungkin, bahkan ada papan peringkat untuk mempromosikan pengguna AI terbesar. Sayangnya, strategi ini tidak berkelanjutan. CFO di banyak perusahaan mulai mengekang pengeluaran AI yang tidak terkendali dan meminta para pemrogram untuk menunjukkan bukti pengeluaran mereka.
Pemimpin-pemimpin mungkin berani merogoh kocek lebih dalam untuk bergerak dengan cepat, tetapi mereka tidak dapat melakukannya tanpa membuktikan bahwa tim teknik mereka memberikan dampak yang nyata.
Strategi terbaik untuk “tokenmaxxing†bukanlah mendorong adopsi AI secara membabi buta. Sebaiknya, arah yang lebih baik bagi perusahaan adalah memperluas adopsi pemrograman AI dengan melibatkan lebih banyak insinyur di tengah kurva penggunaan, menghindari baik penggunaan yang rendah maupun konsumsi berlebihan yang mahal.
Mengapa ‘tokenmaxxing’ tidak bisa skala
Dalam penelitian, ditemukan bahwa 10% pengguna teratas Claude Code mengkonsumsi sekitar 10 kali lebih banyak token AI dibandingkan pemrogram rata-rata, namun hanya menghasilkan output sekitar dua kali lipat. Ini menunjukkan bahwa meskipun konsumsi token meningkat, output yang dihasilkan tidak sebanding.
Penelitian juga menunjukkan bahwa ada kelompok kecil tetapi semakin dominan yang menguasai total konsumsi token. Di persentil ke-90, pengguna menghabiskan sekitar 225 juta token per minggu, yang tiga kali lipat dibandingkan enam bulan lalu, dan tujuh kali lipat dibandingkan pemrogram rata-rata.
Banyak pemimpin teknik kini melihat para pengguna teratas dan mencoba mencari cara agar seluruh organisasi mencapai tingkat yang sama. Pendekatan ini sepertinya keliru. Dengan biaya per penggabungan PR meningkat dari $0,28 di tingkat adopsi terendah hingga $89,32 di tingkat tertinggi, penggunaan token yang ekstrem tidak dapat mendatangkan nilai yang sebanding.
Alih-alih, pemimpin teknik harus fokus pada meratakan kurva konsumsi token. Penggunaan token yang moderat dan menyeluruh jauh lebih efisien biaya dibandingkan dengan memiliki sekelompok kecil pengguna unggulan di satu sisi spektrum dan sisanya tertinggal. Ketika sebagian besar organisasi beroperasi di tengah kurva, AI menjadi keunggulan yang berkelanjutan, cukup untuk mendorong peningkatan produktivitas nyata tanpa membakar anggaran demi output yang minimal.
Maksimalkan dampak, bukan konsumsi token
Organisasi yang terbakar melalui token terbanyak belum tentu mendapatkan manfaat maksimal dari AI. Ketika konsumsi token tinggi, sebagian besar digunakan untuk mengotomatiskan tugas manual dengan alat seperti Claude, Copilot, atau Cursor. Para pengembang pada dasarnya mendapatkan alat yang lebih baik untuk melakukan pekerjaan yang sama seperti sebelumnya.
Untuk benar-benar mendorong dampak dengan AI, organisasi teknik perlu bergerak menuju cara kerja yang baru dan lebih otonom. Namun, sistem otonom memerlukan investasi besar dalam infrastruktur TI, termasuk rekayasa konteks, orkestrasi, dan lingkungan sandbox. Sampai organisasi mengatasi isu-isu ini, peningkatan produktivitas akan terhambat oleh “hambatan otonom” yang tidak dapat diatasi hanya dengan token.
Cara perusahaan mapan dapat mengikuti jejak AI-natif
Percakapan seputar AI dan pengembangan perangkat lunak sering kali fokus pada pengkodean, tetapi menulis kode hanyalah satu bagian dari peran seorang insinyur. Membawa produk ke pasar juga melibatkan pekerjaan roadmap, implementasi, dan banyak lagi. Jika para insinyur menghabiskan banyak token untuk menulis kode secepat mungkin, maka semua aspek lain perlu mengejar ketertinggalan.
Perubahan frekuensi roadmap dan percepatan dukungan penjualan memerlukan pergeseran budaya yang banyak organisasi belum siap lakukan. Akibatnya, tambahan jadwal sering kali dimasukkan ke dalam backlog atau hal-hal lain yang mungkin memberikan nilai di masa depan tetapi tidak berdampak pada pendapatan dalam jangka pendek. Tim dapat mengkonsumsi jutaan token setiap minggu, tetapi memiliki sedikit hasil yang bisa dipamerkan pada akhir kuartal.
Perusahaan AI-natif lebih mungkin untuk melihat pengembalian investasi AI mereka secara langsung. Meskipun perusahaan mapan mungkin tidak bisa memulai dari nol, mengadopsi prinsip-prinsip AI-natif dapat membantu menghilangkan hambatan dan mengubah pengeluaran token menjadi pengembalian bisnis yang terukur dengan lebih cepat. Dengan merancang alur kerja dengan mempertimbangkan otomatisasi, mereka dapat terus mempercepat pengkodean tanpa menciptakan utang teknis.
“Tokenmaxxing†kini sedang tren, tetapi pemimpin teknik perlu melampaui sekadar menghitung token dan mulai mencari cara untuk membuktikan nilai. Dengan mengukur dampak AI terhadap pengiriman, kualitas, dan produktivitas di seluruh siklus hidup pengiriman perangkat lunak, para pemimpin dapat menunjukkan ROI dan memastikan setiap token berharga.
