AI agent yang dapat beroperasi secara mandiri dan menjalankan tugas tanpa intervensi manusia menjadi langkah maju dalam perkembangan alat AI yang cepat. Penggunaan AI agent ini semakin berkembang pesat. Menurut statistik terbaru dari Tenet Global, 85% perusahaan besar dan 78% usaha kecil dan menengah (UKM) kini menggunakan AI agent, yang diperkirakan dapat mengotomatisasi hingga 50% tugas bisnis pada tahun 2027.
Keunggulan penggunaan AI agent sangat jelas: pelaksanaan tugas secara otonom, operasi 24/7, pengurangan biaya, analisis data secara real-time untuk respon yang lebih cepat, serta kemampuan untuk dengan mudah diskalakan.
Namun, di balik semua janji ini, beberapa kejadian dalam beberapa minggu terakhir menyoroti bahaya terkait dengan penggunaan AI agent dan perlunya pemantauan yang ketat dan berkesinambungan untuk melacak perilakunya serta dengan cepat mengidentifikasi anomali.
Tanpa langkah pengamanan ini, AI agent bisa bertindak dengan cara yang tidak terduga dan berpotensi menimbulkan konsekuensi serius.
Kejadian Terbaru
Contoh jelasnya adalah laporan terbaru tentang karyawan Meta yang diberikan akses ke data sensitif setelah seorang insinyur mengikuti saran yang salah dari AI agent. Insiden ini pertama kali dilaporkan oleh The Information, terjadi ketika seorang insinyur Meta memposting pertanyaan teknis di forum internal.
AI agent merespon pertanyaan itu dan ketika karyawan tersebut mengikuti sarannya, sejumlah besar data pengguna yang sensitif terlihat oleh insinyur yang tidak berwenang selama lebih dari dua jam. Akibatnya, Meta memberikan insiden tersebut status “Sev 1”, yang merupakan peringkat respons insiden kedua tertinggi yang digunakan secara internal.
Insiden ini terjadi beberapa waktu setelah sebuah contoh lain di mana AI agent bertindak dengan cara yang tidak terprogram. Beberapa minggu sebelum insiden Meta, sebuah penelitian yang diterbitkan di arXiv menjelaskan pengembangan model AI agentik bernama ROME AI, dirancang untuk melakukan tugas kompleks seperti penulisan perangkat lunak, debugging kode, dan berinteraksi dengan alat baris perintah.
Sistem pemantauan yang mengawasi AI agent tersebut mendeteksi perilaku yang menyerupai operasi cryptomining dan pembuatan reverse SSH tunnel, yang biasa digunakan untuk mengakses server secara jarak jauh. AI agent tersebut tidak diperintah untuk melakukan tindakan ini dan menurut para peneliti, perilaku tersebut muncul karena AI agent diberikan kebebasan untuk berinteraksi dengan alat dan sumber daya sistem agar bisa belajar menyelesaikan tugas.
Dalam kasus ROME AI, insiden terjadi di lingkungan yang sudah dirancang untuk pelatihan agentik dan pembatasan tambahan diperkenalkan ketika masalah muncul.
Namun, situasi ini tidak sama dengan contoh Meta, yang menyoroti penggunaan AI agentik yang semakin meningkat, kemampuannya untuk bertindak di luar instruksi tertentu, dan kebutuhan pemantauan yang terus menerus untuk memastikan agent beroperasi dengan aman.
Contoh Meta khususnya menyoroti risiko perlindungan data yang potensial terkait dengan AI agent, terutama saat mengambil saran secara langsung. Dua jam data yang terbuka adalah waktu yang lama dan memberikan banyak kemungkinan bagi bagaimana data tersebut dapat disebarluaskan dan disalahgunakan oleh pihak yang tidak bertanggung jawab.
Pola yang jelas muncul: setelah sistem AI diberikan otonomi untuk bertindak dalam lingkungan nyata, mereka akan menemukan jalan yang tidak pernah diperkirakan oleh pengembang dan tidak dapat diharapkan untuk bertindak tanpa pengawasan yang ketat.
Merencanakan Ancaman Baru
Penting untuk dicatat bahwa agent dalam insiden Meta tidak memerlukan hak akses istimewa untuk menyebabkan pelanggaran. Ia hanya perlu seseorang yang mempercayai hasil outputnya. Ini adalah model ancaman yang sangat berbeda dengan yang direncanakan oleh sebagian besar organisasi, dan perluasan perspektif kita dalam melihat keamanan AI agentik.
Organisasi di semua sektor memberikan kepercayaan besar kepada AI agent. Mereka ditugaskan untuk berkomunikasi dengan pelanggan, membuat konten, mengotomatisasi tugas keuangan dan HR, menjalankan tugas kompleks, serta menyelesaikan masalah. Namun, banyak organisasi berisiko memberikan kepercayaan ini secara membabi buta.
Sedikitnya, jika kita ingin terus mempercayai AI agent dengan cara ini, pemantauan yang ketat dan menyeluruh adalah kunci untuk memastikan mereka beroperasi sesuai tujuan. Ini termasuk pengujian pra-implementasi sebelum model diterapkan, serta pemantauan berkesinambungan yang dapat melacak perubahan perilaku ketika menghadapi skenario dunia nyata.
Bahkan AI agent yang telah diuji secara ketat sebelum diterapkan bisa bertindak dengan cara yang tidak terduga begitu aktif. Drift model, halusinasi, umpan balik berulang, dan kontaminasi data adalah semua risiko nyata dalam penggunaan AI. Itulah mengapa pendekatan dua lapis sangat penting untuk memastikan keamanan AI.
Memang, ini menjadi semakin krusial saat AI didorong untuk lebih kreatif dan menemukan solusinya sendiri, seperti dalam contoh ROME AI, karena risiko bertindak dengan cara yang tidak diinginkan dan berbahaya meningkat. Ketika AI memiliki kebebasan untuk menentukan metode sendiri, hal itu dapat mengakibatkan tindakan yang tidak terduga dan tidak diinginkan dengan konsekuensi serius.
Dalam kasus ROME, para pengembang memiliki pengaman dalam lingkungan pelatihan, dan peringatan pelanggaran keamanan dipicu. Namun, banyak contoh di mana ini tidak berlaku. Kasus di mana AI telah bertindak di luar kendali dan menyebabkan kerugian finansial, stres emosional, kerusakan reputasi, dan tindakan regulasi.
Contoh-contoh tersebut termasuk mobil otonom Uber yang menabrak pejalan kaki setelah mengklasifikasikannya sebagai objek yang tidak dikenal, dan algoritma perdagangan yang cacat yang menyebabkan perusahaan Knight Capital kehilangan $440 juta setelah memicu perdagangan yang tidak disengaja. Seiring dengan meningkatnya otonomi AI melalui penggunaan agent, pengaman menjadi semakin penting.
Belakangan ini, banyak dibahas tentang regulasi AI, terutama terkait penerapan EU AI Act, dan memang regulasi itu penting. Namun, lebih dari sekadar memenuhi kepatuhan, organisasi perlu berpikir lebih luas tentang bagaimana mereka menerapkan AI, risiko yang terlibat, dan potensi konsekuensi dari kesalahan dalam perilakunya secara moral dan etis. Intinya, bagaimana mereka akan memastikan AI mereka berperilaku seperti yang diharapkan?
Pemantauan berkesinambungan adalah lapisan yang hilang antara pengaman yang ada di kertas dan yang benar-benar dapat merespons. Pertanyaannya bukan lagi apakah AI agent akan bertindak di luar instruksi mereka, tetapi apa yang terjadi ketika mereka melakukannya.
