Sebuah agen AI enterprise bisa memberikan jawaban dengan penuh keyakinan, tetapi kadang jawabannya justru salah. Banyak yang tidak menyadari kesalahan ini hingga ada yang melacak kembali kepada definisi metrik yang sudah ketinggalan atau dokumen yang tidak diambil oleh sistem retrieval. Masalahnya bukan pada model AI itu sendiri, tetapi pada konteks yang diberikan padanya.
Dalam enam bulan terakhir, 57% perusahaan melaporkan bahwa jawaban agen AI yang yakin namun salah terkait dengan kurangnya atau ketidakkonsistenan konteks bisnis. Bahkan, 31% dari mereka mengatakan hal serupa terjadi lebih dari sekali, menurut survei VB Pulse pada Juni 2026 yang melibatkan 101 perusahaan yang memenuhi syarat dengan lebih dari 100 karyawan.
Penyebab utama masalah ini cukup jelas. Pengambilan data dari dokumen adalah cara default yang digunakan oleh 38% perusahaan untuk mendapatkan konteks bisnis, hampir dua kali lipat dari pendekatan terdekat berikutnya. Masalah ini bahkan semakin parah karena cara kebanyakan perusahaan memilih sistem retrieval berdasar pada kemudahan penggunaan dan kesederhanaan operasional, sementara akurasi retrieval justru menjadi perhatian kedua. Masalah akurasi baru terungkap setelah sistem mulai beroperasi.
Solusi yang dikenal untuk masalah ini adalah dengan menggunakan lapisan konteks yang terkelola, di mana setiap agen membaca dari sumber yang terstandarisasi daripada berkembang berdasarkan dugaan. Saat ini, para vendor berlari cepat untuk merilis platform konteks, sementara banyak perusahaan masih berjuang untuk memahami konsep tersebut.
75% perusahaan belum memiliki lapisan konteks agen
Lapisan konteks dirancang supaya menjadi model bersama yang menjelaskan apa arti sebenarnya data bisnis, dibangun sekali dan selalu dirujuk secara konsisten, alih-alih didefinisikan kembali oleh setiap agen yang berinteraksi dengan data tersebut.
Penelitian dari VentureBeat menunjukkan tanggapan perusahaan terhadap ide ini cukup luas tetapi belum tuntas. Sebanyak 25% responden sudah menjalankan lapisan konteks, 34% sedang membangunnya, sementara sisa 41% belum memulai.
Di antara perusahaan yang sudah membangun atau menjalankan lapisan konteks terkelola, 78% melaporkan adanya kegagalan di mana agen AI memberikan jawaban yang sangat yakin namun tetap keliru. Di sisi lain, di antara perusahaan yang tidak memiliki rencana untuk membangun lapisan tersebut, hanya 20% yang mengalami hal serupa. Perusahaan yang sudah pernah mengalami masalah ini jauh lebih cenderung untuk membangun solusi. Sementara itu, perusahaan yang belum pernah mengalami masalah merasa tidak mendesak untuk bertindak.
Bagaimana lapisan konteks terkelola terlihat ketika dibangun
Semua penyedia platform data dan AI utama kini membangun variasi lapisan ini, dan mereka tidak mengarah pada arsitektur yang sama.
-
DataHub menganggap metadata katalog dan perilaku query analis selama bertahun-tahun sebagai sumber pengetahuan yang terus diperbarui sebagai sistem hidup, bukan hanya sebagai wiki statis.
-
Microsoft Fabric IQ membangun ontologi bisnis yang dapat di-query oleh agen mana pun, bukan hanya milik Microsoft.
-
Couchbase memindahkan memori agen dan retrieval konteks ke tepi, berargumen bahwa database operasional lebih pas untuk itu dibandingkan dengan layer pencarian atau analisis yang ditambahkan setelahnya.
-
Pinecone’s Nexus mengompilasi logika struktural menjadi layer metadata sebelum waktu proses, meyakini bahwa agen membutuhkan struktur yang sudah dibuat sebelumnya lebih dari sekadar pencarian yang lebih cepat.
-
Snowflake menerapkan sistem dua lapis, Horizon Context untuk definisi yang dikelola pelanggan dan Cortex Sense untuk konteks yang dihasilkan oleh platform sendiri.
-
Oracle’s Unified Memory Core menggabungkan data vektor, graf, dan relasional ke dalam satu mesin transaksi sehingga tidak ada layer sinkronisasi yang dapat menjadi ketinggalan zaman.
-
Google’s Knowledge Catalog mengambil data dari log query dan pola penggunaan untuk mengkurasi konteks semantik secara otomatis.
-
AWS’s Context service membuat hipotesis serupa, yaitu grafik pengetahuan yang menjadi lebih pintar dari bagaimana agen sebenarnya menggunakannya, bukan dari rekonstruksi manual.
Analisis mendalami masalah yang sama
Walaupun pendekatan vendor berbeda, apa yang diungkapkan oleh analis dan praktisi kepada VentureBeat tentang masalah mendasar ini tidak berubah.
Ketika dorongan lapisan konteks DataHub muncul di musim semi ini, VP dan analis utama Constellation Research, Michael Ni, menekankan taruhannya dengan jelas. “Siapa pun yang mengontrol konteks runtime mengontrol layer keputusan AI untuk data enterprise,” ujar Ni. Ia juga menegaskan sejauh mana produk tunggal bisa membantu pembeli. “Memori vektor bukanlah arti bisnis, arti bisnis bukanlah tata kelola, dan tata kelola bukanlah eksekusi,” lanjutnya.
Dalam wawancara yang sama, analis BARC Kevin Petrie menyoroti kesenjangan yang lebih sempit namun konkret. Kebanyakan platform konteks berkonsentrasi pada tabel terstruktur, yang memberikan fakta terpercaya tetapi melewatkan konteks yang lebih sulit dan lebih rumit yang terkunci dalam dokumen dan konten tidak terstruktur, yang menjadi bahan operasional bisnis sehari-hari.
Stephanie Walter, pemimpin praktik untuk AI Stack di HyperFRAME Research, juga memberikan pandangan terkait ketika VentureBeat menanyakan tentang fragmentasi konteks di enterprise. “Pasar bergerak menuju kesimpulan yang sama,” katanya. “Agen tidak hanya membutuhkan lebih banyak token atau model yang lebih baik. Mereka membutuhkan konteks yang terkelola, terkini, dan rendah latensi.” Ia juga menekankan bahwa peluncuran Nexus adalah evolusi dari arsitektur RAG, bukan reinvention total.
Menurut Arun Chandrasekaran dari Gartner, yang mengulas peluncuran yang sama, AI agen sedang bergeser dari pengambilan informasi murni menuju arsitektur penalaran, di mana konteks yang panjang berfungsi sebagai memori jangka pendek dan database vektor jadi penyimpanan yang lebih dalam.
Masalah fragmentasi ini paling terlihat di level praktisi, di mana alat yang terpisah untuk retrieval, memori, dan kontrol akses tidak dibuat untuk saling beradaptasi. Steven Dickens, CEO dan analis utama di HyperFRAME Research, dengan tegas mengatakan sesudah peluncuran database AI Oracle. “Tim data merasa lelah karena kelelahan fragmentasi,” ujar Dickens. “Mengelola penyimpanan vektor terpisah, database graf, dan sistem relasional hanya untuk menggerakkan satu agen adalah mimpi buruk DevOps.”
Matt Kimball di Moor Insights and Strategy, dalam cerita yang sama, menjelaskan realitas produksi dengan lebih sederhana. Mengoperasikan agen tidaklah sulit, kata dia. Tantangannya adalah membuatnya berjalan di produksi, di mana tujuan utamanya adalah mengurangi jarak antara data dan eksekusi, bukannya menambah layer lainnya di atasnya.
Apa artinya untuk perusahaan
Ini adalah ringkasan penting bagi perusahaan yang membangun lapisan konteks ini.
Pencarian informasi sendiri tidak akan menutup kesenjangan konteks. RAG adalah sumber utama konteks di sebagian besar perusahaan saat ini, dan ini juga menjadi layer yang paling berhubungan erat dengan kegagalan jawaban yang yakin namun salah. Menambah dokumen lebih banyak atau indeks yang lebih besar tidak memperbaiki definisi yang tidak konsisten di antara sistem.
Lapisan konteks semantik adalah arah pergeseran anggaran yang sesungguhnya, meskipun belum diimplementasikan. Sebanyak 58% perusahaan sudah terlibat — baik dalam tahap pembangunan atau sudah beroperasi — tetapi hanya 25% yang benar-benar telah menerapkan lapisan tersebut. Kesenjangan ini menunjukkan di mana perusahaan memilih untuk berinvestasi, bukan di mana mereka telah mencapai hasil.
Tidak ada vendor tunggal yang memiliki arsitektur ini, dan kemungkinan ini akan tetap ada untuk sementara waktu. Perusahaan yang mengevaluasi lapisan ini harus bersiap untuk berintegrasi, bukan hanya memilih satu pemenang, setidaknya untuk beberapa kuartal mendatang.
Keputusan pembelian sedang berlangsung tahun ini, dan terfokus di antara perusahaan yang sudah pernah mengalami masalah. Sebanyak 57% perusahaan merencanakan untuk mengganti atau menambah platform retrieval atau konteks dalam waktu dua belas bulan ke depan. Niat ini tidak tersebar merata. Perusahaan yang melaporkan kegagalan berulang cenderung berniat untuk mengganti atau menambah penyedia di sekitar 81%, sementara hanya 32% di antara perusahaan yang tidak pernah mengalami masalah tersebut. Perusahaan yang saat ini mencari alat konteks baru sebagian besar adalah yang sebelumnya telah mengalami kesalahan oleh agen mereka.
Agen-agen sudah berjalan. Namun konteks di balik sebagian besar dari mereka masih dalam proses pembangunan, dan vendor yang akan menyediakan solusi ini sedang dipilih tahun ini.
