Kesenjangan Komputasi AI: Perusahaan Berlarian Memperoleh Infrastruktur Tanpa Hitungan Biaya yang Jelas

Peningkatan pengeluaran infrastruktur AI di 107 perusahaan menunjukkan tren yang menarik. Pengeluaran ini berkembang pesat, jauh lebih cepat dibandingkan dengan kemampuan mereka untuk mengukur atau mengelola aspek ekonominya. Banyak organisasi menjalankan AI mereka dengan memanfaatkan hyperscalers dan API model yang sudah dikenal, namun mayoritas dari mereka berencana untuk beralih atau menambah vendor dalam setahun ke depan, bahkan beberapa dalam waktu tiga bulan. Keputusan pembelian didasarkan pada integrasi dan total biaya kepemilikan alih-alih pada harga token yang tertera – untungnya, karena sebagian besar perusahaan belum bisa dengan jelas melihat ekonomi unit mereka. Saat ini, penggunaan GPU mereka berada pada tingkat setengah dari kapasitas atau bahkan kurang. Ini menciptakan jurang antara investasi yang cepat dan ketidakmampuan untuk melihat serta mengendalikan pengeluaran tersebut.

Penelitian terbaru dari VentureBeat Pulse memeriksa infrastruktur AI yang ada di perusahaan-perusahaan: tahapan penerapan, platform yang mereka gunakan, seberapa puas mereka, dan apa yang akan membuat mereka beralih. Yang paling menarik adalah sejauh mana mereka bisa mengukur dan mengontrol ekonomi dari komputasi yang mendasarinya.

Temuan utamanya adalah adanya jurang komputasi, yaitu jarak antara investasi agresif yang dilakukan perusahaan dalam infrastruktur AI dan seberapa sedikit aspek ekonominya yang dapat mereka lihat. Sekitar satu dari lima perusahaan (21%) sudah menjalankan AI dalam skala produksi, tetapi niat pengeluaran mereka terus menunjukkan pertumbuhan: area evaluasi terbesar yang direncanakan oleh perusahaan selama setahun ke depan adalah cloud yang disesuaikan untuk AI (45%), sementara hanya sedikit dari perusahaan yang saat ini menggunakannya. Sementara itu, penggunaan GPU yang telah ada masih dingin – 83% dari mereka melaporkan pemanfaatan GPU di level 50% atau kurang, dan kurang dari setengah perusahaan (44%) dengan ketat mampu melacak biaya komputasi AI mereka. Artinya, perusahaan membeli infrastruktur lebih cepat dibandingkan kemampuan mereka untuk menghitung apa yang sebenarnya mereka miliki.

Kebanyakan perusahaan masih bimbang dengan vendor infrastruktur mereka: Sebagian besar (64%) berencana untuk beralih atau menambah penyedia infrastruktur dalam dua belas bulan ke depan, dan 38% berencana untuk melakukannya dalam tiga bulan ke depan – ini adalah angka churn yang tinggi untuk kategori yang begitu mendasar. Ketika mereka memilih, fokus mereka lebih kepada integrasi dengan stack yang ada (41%) dan total biaya kepemilikan (35%), bukan pada harga yang tertera. Faktor biaya per sejuta token hanya menjadi pertimbangan bagi 8% responden. Dan tantangan di masa depan yang akan mempengaruhi keputusan berikutnya – peralihan dari komputasi GPU ke bandwidth memori seiring meningkatnya skala inferensi – hampir tidak menjadi perhatian, dengan satu dari lima perusahaan bahkan tidak menyadarinya atau belum menangani hal tersebut.

Metodologi

VentureBeat melakukan survei ini sebagai bagian dari seri Pulse Research mereka yang berkelanjutan, fokus pada infrastruktur AI perusahaan, komputasi, dan ekonomi inferensi. Responden difilter untuk organisasi dengan lebih dari 100 karyawan (n=107; kelompok terkecil, yaitu 1–100 karyawan, dikecualikan) dan diambil dari gelombang tunggal di Q2 2026 (Juni). Karena ini hanya satu gelombang, hasilnya terbaca secara cross-sectional dan tidak mencerminkan tren bulanan. Beberapa pertanyaan bersifat pemilihan ganda, sehingga jumlah persentase dapat melebihi 100%.

Dengan ukuran organisasi, sampel ini lebih banyak berasal dari pasar menengah: 101–250 karyawan (36%) dan 251–1.000 (27%) mendominasi, diikuti oleh 1.001–5.000 (22%), 5.001–10.000 (8%), dan 10.001+ (7%). Dari segi peran, responden mencakup manajer (38%), kontributor individual (28%), VP dan direktur (19%), serta eksekutif C-suite (13%); dari segi otoritas pembelian, 45% adalah pengambil keputusan akhir dan 30% lainnya adalah rekomendator atau influencer untuk solusi AI. Industri teknologi/perangkat lunak menjadi yang terbesar dengan 26%, diikuti layanan kesehatan/ilmu hayati (15%), jasa keuangan (13%), dan ritel/e-commerce (12%).

Temuan 1: Ambisi melebihi produksi

Hanya satu dari lima perusahaan yang menjalankan AI dalam skala produksi

Kami ingin tahu di mana posisi organisasi-organisasi ini dalam perjalanan penerapan AI mereka. Kebanyakan masih dalam tahap membangun menuju produksi daripada beroperasi secara skala.

Kurva kematangan sangat terlihat. Tiga per empat perusahaan (76%) masih bereksperimen atau baru menjalankan beberapa beban kerja, dan hanya 21% yang mengklaim AI mereka beroperasi dalam skala produksi. Hal ini berpengaruh pada keputusan infrastruktur yang tercantum dalam laporan ini, yang sebagian besar diambil oleh organisasi yang masih berada di tahap awal penerapan, di mana jejak komputasi dan biaya mereka akan segera meningkat. Niat evaluasi dan peralihan yang ada menunjukkan bahwa mereka adalah bagian dari pergeseran yang lebih besar, bukan preferensi tetap dari operator yang sudah menemukan apa yang cocok.

Temuan 2: Perusahaan bergantung pada hyperscalers dan model API

Cloud GPU khusus baru saja mulai diperhatikan, masih jauh dari penggunaannya saat ini

Kami meminta informasi mengenai penyedia dan platform yang digunakan perusahaan untuk menjalankan AI mereka. Jawabannya cukup familiar: para incumbent.

Saat ini, tumpukan yang ada masih didominasi oleh hyperscalers. Google Cloud menduduki posisi teratas dengan penggunaan 48%, diikuti oleh platform umum seperti Microsoft, AWS, dan Oracle. Sementara itu, penyedia cloud AI khusus yang sering dibicarakan — seperti CoreWeave, Lambda, dan Crusoe — saat ini hampir tidak memiliki pengguna dalam kelompok ini. Hanya 6% yang menjalankan cluster GPU di tempat mereka sendiri, dan 4% menggunakan tumpukan open-source yang dikelola sendiri. Perusahaan, untuk saat ini, menggunakan AI dengan penyedia yang sudah mereka beli, yang membuat niat evaluasi di Temuan 3 semakin mencolok.

Sampel yang ada memberikan gambaran yang jelas mengenai apa yang diperoleh kelompok aktif ini dalam teknologi AI, dan menggambarkan adanya kesenjangan antara penggunaan saat ini dan ekspektasi mendatang.

Temuan 3: Dollar berikutnya ditujukan untuk infrastruktur yang belum dijalankan

Cloud khusus untuk AI menjadi prioritas evaluasi

Kami bertanya di mana perusahaan berencana mengevaluasi infrastruktur AI dalam 12 bulan ke depan. Jawaban mereka menunjukkan arah yang berbeda dari tumpukan yang mereka gunakan saat ini.

Area evaluasi teratas adalah cloud khusus untuk AI, yang dicatat oleh 45% responden. Sekitar sepertiga (32%) berencana mengevaluasi akselerator non-NVIDIA, dan 28% berencana mengganti GPU generasi berikutnya yang akan datang. Hal ini menjadi indikasi bahwa perusahaan sedang bersiap untuk memindahkan sebagian besar komputasi AI dari cloud umum.

Tren yang serupa juga terlihat pada survei sebelumnya. Ketika ditanya tentang perubahan yang mereka rencanakan dalam strategi infrastruktur AI, jawaban yang paling umum adalah memindahkan beban kerja ke cloud khusus, pada 33%. Melihat evolusi ini, jelas terlihat bahwa perusahaan-perusahaan semakin bersemangat dalam mengadopsi cloud yang sesuai dengan kebutuhan AI mereka.

Temuan 4: Gelombang peralihan sedang dibangun

Enam dari 10 perusahaan berencana mengganti penyedia dalam setahun — banyak dalam waktu tiga bulan

Kami mencari tahu apakah perusahaan berencana untuk beralih atau menambah penyedia infrastruktur. Sangat sedikit yang berniat untuk tetap di tempat.

Hanya 36% yang tidak memiliki rencana untuk berubah, sementara mayoritas yang jelas (64%) berencana untuk beralih atau menambah penyedia dalam waktu 12 bulan — 38% dalam kuartal berikutnya. Penarik perhatian di sini adalah penyedia yang paling banyak dipertimbangkan untuk peralihan adalah incumbent – Microsoft Azure dan Google Cloud, masing-masing 33%, diikuti oleh OpenAI dan Gemini. Ini menunjukkan bahwa banyak pergerakan jangka dekat lebih berupa pergeseran di antara penyedia besar daripada mencoba penyedia baru.

Temuan 5: Tidak ada yang membeli berdasarkan harga token

Integrasi dan total biaya kepemilikan menjadikan pertimbangan utama — bukan harga yang tertera

Kami bertanya apa yang paling penting saat perusahaan memilih penyedia infrastruktur AI. Harga teratas berakhir di urutan terakhir.

Integrasi dengan tumpukan yang sudah ada (41%) dan total biaya kepemilikan (35%) adalah faktor dominan, sedangkan harga per sejuta token hanya menjadi pertimbangan bagi 8%. Ini jelas menunjukkan bahwa pembeli lebih memprioritaskan bagaimana penyedia bisa terintegrasi dengan sistem yang ada dan berapa sebenarnya biaya operasionalnya.

Temuan 6: GPU mahal, banyak yang tidak digunakan

83% melaporkan pemanfaatan GPU di bawah 50%

Dari hasil survei, mayoritas perusahaan tidak memanfaatkan kapasitas GPU mereka secara optimal. 83% dari mereka melaporkan pemanfaatan di level 50% atau kurang, dengan hampir setengahnya (49%) berjalan pada hanya 25% atau kurang. Ini menunjukkan bahwa meskipun mereka merencanakan pengeluaran yang lebih besar untuk GPU dan komputasi khusus, kapasitas yang sudah ada saat ini hampir tidak digunakan.

Temuan 7: Pengeluaran cepat, pengukuran lambat

Kurang dari setengah perusahaan mampu melacak biaya komputasi mereka

Kami bertanya apakah perusahaan mampu mengukur biaya dan pengembalian dari belanja infrastruktur AI mereka, serta seberapa puas mereka dengan apa yang mereka jalankan. Hasilnya menunjukkan bahwa ada kesenjangan antara pengeluaran dan kemampuan pengukuran.

Hanya 44% yang dapat melacak biaya dan ROI secara ketat, sedangkan mayoritas hanya bisa melakukannya sebagian (39%), atau bahkan tidak bisa mengkuantifikasi (20%). Hal ini menjadi masalah karena mereka memilih penyedia dengan dasar ekonomi yang mayoritas belum dapat mereka ukur.

Temuan 8: Bottleneck berikutnya yang sedikit diperhatikan

Ketika inferensi beralih dari komputasi ke memori, bidang ini tampak acak

Akhirnya, kami bertanya tentang pendekatan yang akan diambil perusahaan untuk mengatasi batasan yang muncul dalam inferensi berskala besar — peralihan dari komputasi GPU ke memori. Respon menunjukkan bahwa ini belum menjadi prioritas bagi banyak perusahaan.

Lebih dari 18% responden tidak menyadari batasan ini atau belum menangani batasan memori dalam inferensi. Hal ini menunjukkan bahwa pasar untuk perubahan ini masih awal, dan banyak perusahaan belum memiliki pandangan yang jelas tentang bagaimana menghadapinya.

Kesimpulan

Organisasi dengan lebih dari 100 karyawan sedang meningkatkan investasi dalam infrastruktur AI lebih cepat dibandingkan dengan kemampuan mereka untuk mengukur pengeluaran tersebut. Kebanyakan masih ada di tahapan awal penerapan, namun niat mereka untuk beralih ke cloud khusus dan akselerator alternatif menjadi hal menarik. Keputusan pembelian mereka lebih berfokus pada integrasi dan total biaya kepemilikan, meskipun saat ini mereka belum dapat melihat aspek ekonomi tersebut dengan jelas.

Ada kesenjangan nyata dalam pemahaman mengenai pengeluaran dan utilisasi GPU yang ada. Dengan 83% dari mereka melaporkan pemanfaatan yang rendah, ini menciptakan tantangan dalam mengelola pengeluaran di masa mendatang. Jika perusahaan tidak dapat meningkatkan visibilitas atas biaya dan efektivitas operasional, mereka akan menghadapi tantangan lebih besar ketika re-platforming terjadi.