Ilusi Tata Kelola AI: Mengapa 72% Perusahaan Merasa Tak Memiliki Kontrol dan Keamanan yang Sesungguhnya?

Menurut survei yang dilakukan oleh VentureBeat bulan lalu, sekitar 72% organisasi mengklaim memiliki dua atau lebih platform AI yang mereka anggap sebagai lapisan “utama”. Hal ini mengungkapkan adanya celah nyata dalam hal keamanan dan kontrol. Bagi para pemimpin manajemen dan teknologi, terutama pemimpin keamanan, banyaknya platform AI ini justru memperluas permukaan serangan bagi sebagian besar perusahaan, di saat serangan yang didorong AI semakin menjadi-jadi.

Beberapa platform ini meliputi penawaran dari penyedia besar seperti Microsoft Azure, Google, OpenAI, atau Anthropic, serta perusahaan aplikasi besar seperti Epic, Workday, atau ServiceNow. Semua ini menciptakan keadaan yang sulit diatur, terlebih ketika penyedia perangkat lunak besar berpacu untuk menawarkan solusi AI kepada pelanggan perusahaan mereka. Yang menarik, dalam upaya untuk mempercepat penggunaan AI, para pelanggan cenderung tidak membangun strategi tunggal, melainkan mungkin malah menciptakan sekumpulan kontradiksi.

Paradoks Strategis: Mengapa Perusahaan Terdepan Membangun di Sekitar Vendor

Salah satu contoh paradoks strategis ini muncul dari sistem rumah sakit Mass General Brigham (MGB), yang mempekerjakan 90.000 orang dan menjadi pemberi kerja terbesar di Massachusetts. Tahun lalu, sistem rumah sakit ini terpaksa menghentikan sejumlah proyek percobaan internal yang tidak terkendali akibat karyawan terlibat terlalu dalam dalam proyek AI. CTO Nallan “Sri” Sriraman menyatakan bahwa lebih baik menunggu perusahaan perangkat lunak besar yang mereka gunakan untuk mewujudkan peta jalan AI mereka. Mengingat perusahaan-perusahaan tersebut memiliki banyak sumber daya dan menjadikan AI sebagai prioritas utama, tidak masuk akal bagi MGB untuk mencoba membangun lapisan AI mereka sendiri yang akan redundan. “Mengapa kita harus membangunnya sendiri?” tanya Sriraman. “Manfaatkan saja.” Namun, di tengah semua ini, tim Sriraman harus menemukan cara alternatif di mana perusahaan-perusahaan tersebut belum berhasil memenuhi kebutuhan mereka.

Sebagai contoh, MGB baru saja menyelesaikan pembangunan “full-scale” kustom di sekitar Microsoft’s Copilot untuk mendapatkan semua fitur yang ditawarkan oleh alat tersebut, dengan menambahkan lapisan untuk menangani isu keamanan dan privasi data yang belum sepenuhnya dikuasai oleh penyedia model besar. Secara khusus, MGB perlu memastikan bahwa informasi kesehatan yang dilindungi tidak bocor kembali ke penyedia LLM Copilot, OpenAI. Platform baru yang aman ini dapat mendukung hingga 30.000 pengguna dan pada akhirnya menciptakan kontradiksi: meskipun perusahaan memiliki mandat untuk memanfaatkan AI dari perusahaan besar, mereka tetap perlu membangun untuk mengatasi kegagalan tersebut.

Kontradiksi ini semakin dalam. Penyedia perangkat lunak yang digunakan MGB—termasuk Epic, Workday, dan ServiceNow—semua kini sedang membangun agen untuk AI mereka, semuanya beroperasi dengan cara yang berbeda. Jadi, MGB harus berinvestasi untuk membangun “control plane” yang mengoordinasikan dan mengatur semua agen ini. “Itulah arah investasi kami,” kata Sriraman. Ia mencatat bahwa perusahaan seperti miliknya sedang “menemukan dan bereksperimen seiring lanskap yang terus berubah.” Pasar masih “sangat baru,” membuat keputusan menjadi sulit.

Masalah “Enam Orang Buta”

Sriraman menjelaskan lanskap vendor saat ini dengan analogi: “Ketika kamu meminta enam orang buta untuk menyentuh seekor gajah dan bertanya, bagaimana rupa gajah ini?” katanya. “Kamu akan mendapatkan enam jawaban berbeda.” Apa yang muncul dari penelitian VentureBeat di kuartal pertama dan percakapan di Boston adalah situasi yang kami sebut sebagai “ilusi pemerintahan.” Sementara banyak perusahaan mengklaim memiliki tata kelola yang memadai, kenyataannya mereka belum menciptakan akuntabilitas yang jelas atau proses keamanan yang tepat untuk memastikan tata kelola tersebut.

Data Ketidaksesuaian: Keyakinan vs. Pengawasan Sistematis

Penelitian ini berasal dari survei yang dilakukan antara Januari, Februari, dan Maret oleh VentureBeat terhadap perusahaan-perusahaan dengan 100 atau lebih karyawan, dengan 40 hingga 70 responden terpilih untuk setiap topik. Meskipun mayoritas, atau 56% responden merasa “sangat percaya diri” bahwa mereka bisa mendeteksi model AI yang berperilaku buruk, kurang lebih sepertiga dari mereka tidak memiliki mekanisme sistematis untuk mendeteksi perilaku buruk hingga hal tersebut muncul melalui pengguna atau audit. Hal ini menjadi masalah besar, terutama ketika kebocoran telemetri menyumbang 34% kejadian AI (Wiz), dan biaya pelanggaran rata-rata global mencapai $4,4 juta (IBM, 2025). Banyak perusahaan baru menyadari setelah kerusakan terjadi.

Lebih lanjut, 43% responden mengatakan bahwa ada tim pusat yang mengelola tata kelola AI. Meskipun terlihat meyakinkan, 23% lainnya mengklaim bahwa tata kelola tidak jelas atau sedang dipertentangkan antar tim. Dua puluh persen menyatakan bahwa setiap tim platform mengatur secara independen. Enam persen mengatakan tidak ada yang secara formal menanganinya. Sisanya mengaku tidak yakin siapa yang memiliki tanggung jawab ini.

Tagihan Hari Kedua: Mengelola Sprawl, Creeping, dan Lock-in

Perangkap Skala: Peringatan dari Red Hat

Brian Gracely, Direktur Senior di Red Hat, juga menyampaikan peringatan terkait sisi infrastruktur dari sprawl ini, menunjukkan banyak perusahaan terjebak dalam kemenangan awal yang menyesatkan. Gracely menyatakan bahwa hambatan untuk memulai hampir tidak ada; siapapun bisa memulai proyek menggunakan kartu kredit dan kunci API. “Hari pertama itu sangat mudah,” ungkapnya. “Hari kedua adalah saat tagihan datang.” Red Hat memposisikan lapisan perangkat lunaknya (OpenShift AI) sebagai buffer yang diperlukan untuk mencegah perusahaan terjebak dalam ekosistem milik satu penyedia. Poin yang disampaikan Gracely sangat jelas: Jika sistem kontrolmu dibangun sepenuhnya di dalam alat satu penyedia cloud, kamu hanya “menyewa kandang.” Ilusi kecepatan di fase percobaan sering kali menyembunyikan utang teknis yang menjadi jelas saat kamu mencoba memindahkan pekerjaan AI ke platform lain.

Misalnya, seorang pemimpin senior dari kantor CTO terpusat Red Hat menghabiskan sebagian liburan untuk bekerja dalam proyek sumber terbuka yang disebut OpenClaw, yang menjadi populer dalam kuartal pertama. Dalam beberapa hari setelah namanya muncul sebagai pemelihara proyek, Red Hat menerima panggilan dari bank-bank besar di New York. Masalah mereka mendesak: Mereka sudah memiliki lebih dari 10.000 karyawan yang membawa alat berbasis “claws” ini ke infrastruktur mereka tanpa pengawasan terpusat.

Pelanggaran yang disebabkan oleh karyawan yang bekerja dengan teknologi tidak disetujui ini sangat mahal. Kejadian “shadow AI” ini rata-rata menghabiskan biaya $670 ribu lebih banyak dibandingkan insiden biasa, menurut IBM. Gracely mencatat bahwa meskipun organisasi dapat mencoba menutup pintu yang tidak disetujui ini, mereka pada akhirnya harus menemukan cara untuk membuatnya produktif dan aman—tugas ini membutuhkan investasi yang serius dalam lapisan orkestrasi atau platform.

Daya Dinamis: Penolakan MassMutual untuk Bertaruh

Sementara beberapa perusahaan berusaha mencari “sistem operasi AI” yang mengawasi semua teknologi dan aplikasi AI mereka, yang lain justru menolak untuk melakukan kontrak jangka panjang dengan vendor AI. Sears Merritt, CIO sekaligus kepala teknologi perusahaan di MassMutual, mengelola dilema tata kelola dengan tetap berada dalam keadaan fleksibilitas tinggi. “Situasinya sangat dinamis, sulit untuk menentukan vendor AI mana yang akan berada di atas,” kata Merritt. Karena itu, MassMutual menolak untuk terikat kontrak jangka panjang dengan vendor AI. Strategi “dinamis defensif” Merritt menyoroti temuan inti dari penelitian kami: Popularitas vendor berubah sangat cepat dari bulan ke bulan.

Misalnya, Anthropic mengalami lonjakan dari 0% di Januari menjadi hampir 6% di Februari dalam jumlah responden yang melaporkan teknologi orkestrasi agen yang mereka gunakan. Meski ukuran sampelnya kecil, lanskap yang dinamis menunjukkan memilih pemenang “utama” saat ini adalah tindakan yang bodoh.

Bangkitnya “Platform Creep”

Penyedia terkemuka juga bergerak menuju “managed agents,” seperti yang terlihat dari pengumuman terbaru Anthropic. Penawaran ini menunjukkan kemungkinan adanya “platform creep”, di mana penyedia seperti OpenAI dan Anthropic menguasai semakin banyak infrastruktur AI—khususnya, dalam hal memori rincian sesi agen. Begitu data sesi dan orkestrasi hidup dalam basis data eksklusif penyedia, kamu bukan hanya menggunakan model, tapi sudah berada dalam ekosistem mereka. Selain itu, memori agen yang terus-menerus menjadi target utama untuk kerusakan data yang dipicu oleh instruksi yang disuntikkan yang mempengaruhi setiap interaksi masa depan. Ketika memori itu berada dalam basis data penyedia, kemampuan forensikmu pun hilang.

Ironi Keamanan: Sang Rubah Menjaga Ayam

Kami mencatat adanya platform creep dalam data kami juga. Temuan paling mencolok dalam data kuartal pertama adalah apa yang kami sebut sebagai “Ironi Keamanan”: penyedia yang paling bertanggung jawab atas risiko AI enterprise justru adalah yang digunakan untuk mengelola risiko tersebut. Responden menyebut bahwa kriteria seleksi utama untuk platform orkestrasi AI adalah “keamanan dan izin secara umum” (37,1%), mengalahkan kriteria lain seperti biaya, fleksibilitas, kontrol, dan kemudahan pengembangan. Namun, pasar lebih memilih kenyamanan daripada kedaulatan. Menurut survei kami, 26% perusahaan di Februari menggunakan OpenAI sebagai solusi keamanan utama—penyedia yang sama yang menciptakan risiko yang mereka coba amankan. Tren ini tampaknya semakin kuat di Maret, meskipun ukuran sampel kami kecil, dan data ini sebaiknya dianggap sebagai arah dengan catatan.

Jalan ke Depan: Menuju Control Plane yang Terpadu

Mencari “Dynatrace untuk AI”

Jadi, bagaimana cara keluar? Sriraman berpendapat industri sangat membutuhkan “platform observabilitas pusat”—seperti “Dynatrace untuk AI”—yang menyediakan visibilitas penuh, termasuk penyimpangan model dan pengingat keamanan, analitik perilaku agen, peringatan eskalasi privilese, dan pencatatan forensik. Saat ini, ia bekerja dengan sejumlah penyedia yang kemungkinan akan mewujudkan hal ini.

Peringatan “Swivel Chair”

Sriraman memperingatkan bahwa tanpa control plane yang terpadu, perusahaan berisiko kembali ke dunia “swivel chair” yang terfragmentasi—mirip dengan hari-hari awal otomatisasi proses robotik (RPA)—di mana karyawan terpaksa melompat antara berbagai alat AI yang terpisah untuk menyelesaikan satu alur kerja. “Kami tidak ingin menciptakan dunia di mana kamu harus beralih untuk melakukan sesuatu di sini dan kemudian kembali ke platform untuk melakukan hal lain,” katanya.

Namun, keinginan untuk memiliki control plane tunggal ini bertentangan dengan rasa ingin menghindari keterikatan. Data kami menunjukkan bahwa pasar telah cenderung ke arah “hybrid control plane.” Dalam kata lain, situasi yang paling populer di antara responden kami (34,3%) adalah menggunakan solusi native penyedia model seperti Copilot Studio atau asisten OpenAI untuk beberapa alur kerja, sambil juga menjalankan opsi eksternal seperti LangGraph atau orkestrasi kustom untuk yang lainnya. Jumlah perusahaan yang melaporkan lebih dogmatik dalam hal ini cenderung kecil, baik itu dengan menghilangkan penyedia model dari lapisan orkestrasi sepenuhnya, hanya mengandalkan alat orkestrasi kustom, atau hanya bergantung pada teknologi penyedia model.

Perusahaan tidak memberdayakan satu penyedia secara penuh, namun juga kekurangan kapasitas teknik untuk membangun semuanya dari awal.

Kesimpulan: Tombol Merah Besar

Visibilitas dan integrasi hanyalah setengah dari pertempuran. Dalam industri berisiko tinggi seperti kesehatan, Sriraman berargumen bahwa setiap control plane yang sah juga harus menawarkan kemampuan penghentian yang cepat. “Kita perlu memiliki tombol merah besar,” ujarnya. “Matikan itu. Kita seharusnya bisa memiliki itu … tanpa itu, jangan masukkan apa pun ke dalam pengaturan operasional.” Bahkan, permintaan untuk tombol pemutus ini secara resmi disuarakan oleh komunitas keamanan OWASP sebagai bagian dari kerangka kerja keamanan yang direkomendasikan.

“Ilusi pemerintahan” adalah keyakinan bahwa kamu bisa meningkatkan AI tanpa memutuskan siapa yang memiliki control dan lapisan keamanan. Jika kamu termasuk dalam 72% organisasi yang mengklaim memiliki beberapa platform “utama”, berhati-hatilah. Mungkin saja kamu tidak memiliki strategi yang solid, melainkan konflik kepentingan. Ini menunjukkan bahwa pemenang dalam persaingan antara raksasa AI—OpenAI, Anthropic, Google, Microsoft, dan lainnya—belum tentu adalah yang memiliki model terbaik, tetapi yang berhasil mengelola dan menegakkan satu versi kebenaran. Hal ini bisa jadi sulit dicapai, karena perusahaan tidak ingin terikat pada satu pemain.

Data menunjukkan bahwa perusahaan sudah menolak hasil tersebut—dan mungkin perlu merumuskan penolakan tersebut secara formal. Perusahaan sejatinya perlu memiliki control plane mereka sendiri dengan pengukuran keamanan independen, bukannya menunggu vendor untuk memenangkan peran untuk mereka.