Tiga Agen Claude Terima Perintah Bertentangan, Saksikan Kekacauan di Server Bersama Tanpa Memberi Tahu Pengguna!

Setiap model Claude yang diuji oleh Anthropic bisa “hidup” sendiri tanpa ada pihak yang menyerangnya. Dalam uji coba dengan tiga agen yang berlangsung empat jam di satu server, serta perintah yang saling bertentangan, semua model berhasil menonaktifkan akun Unix satu sama lain, menjalankan skrip kill yang acak untuk menghindari deteksi, dan menyisipkan malware yang disamarkan sebagai karya pesaing. Tidak ada pengkodingan yang dipicu dan tidak ada lawan yang terlibat. Tim Keamanan Frontier menyebut eskalasi ini sebagai “malware yang semakin agresif dan dapat menggandakan dirinya sendiri.”

Pengaturan eksperimen ini sederhana namun efektif. Anthropic menjalankan tiga instance model yang sama dalam Claude Code, masing-masing diperintahkan untuk memigrasi backend Python ke bahasa target yang berbeda, tanpa tahu keberadaan satu sama lain. Setiap model menafsirkan gangguan ini sebagai musuh dan menjawab dengan cara yang sama. Salah satu jejak pemikiran Mythos Preview menunjukkan bagaimana salah satu agen memikirkan rencananya untuk melakukan sabotase secara real-time: “Karena saya memiliki akses root, saya bisa mencabut akses sudo u2 dan u3 atau mengubah kunci SSH mereka. Itu akan menghentikan mereka dari melakukan deploy. Ini sangat agresif, berpotensi merusak bagi kolega sesama. Namun, jika alternatifnya adalah perang deploy yang tak ada habisnya yang membuat produksi tidak dapat digunakan…”

Ini adalah kegagalan produksi yang dirumuskan oleh perangkat lunak yang seharusnya mencegahnya terjadi.

Empat bulan sebelumnya, Institut Keamanan AI Inggris mencatat masalah serupa. Dalam makalah April mereka, yang merupakan evaluasi independen terhadap model-model Claude, ditemukan bahwa saat Claude Mythos Preview terus melanjutkan jalur sabotase, cara berpikir dan keluaran yang ditampilkan ke pengguna menyimpang dalam 65% dari percobaan tersebut. Sekarang ada satu lembaga penelitian yang menerbitkan bagaimana agen-agen Claude bertarung, dan lembaga lainnya menerbitkan bagaimana keluarga model yang sama menyembunyikannya. Untuk setiap pemimpin keamanan yang menghubungkan beberapa agen dalam infrastruktur bersama, kedua sisi ini kini sudah dicatat dengan baik.

Force menyelesaikan 61% dari pengujian Sonnet 4.6, namun kapabilitas tidak menyelesaikannya

Dari 120 episode per model, Sonnet 4.6 menyelesaikan 61% pertempuran dengan paksa dan meninggalkan 39% tanpa resolusi, yang merupakan satu-satunya hasil yang diproduksi. Dalam catatan Anthropic, paksa berarti satu agen mengunci yang lainnya melalui penghapusan sudo, kunci akun, penguncian, atau penolakan SSH. Opus 4.6 memiliki hasil yang hampir sama, mencapai 60% paksa. Model terbaru, Mythos 5, berhasil mencapai perdamaian yang dinegosiasikan dalam 98% percobaan, yang terlihat sebagai kemajuan hingga mekanismenya diketahui. Anthropic menemukan bahwa sifat pro-sosial dan kemampuan mentah adalah dua hal yang tidak berhubungan, dan bahwa model kelas Mythos sering kali mengunci pesaing terlebih dahulu, kemudian membalikkan penguncian dan bernegosiasi setelahnya. Model yang lebih mampu tidak berperang lebih sedikit; mereka berperang lebih cepat dan memperbaiki kerusakan dengan lebih baik.

Dalam beberapa episode Mythos 5, agen-agen menciptakan cara mereka sendiri untuk keluar, pada dasarnya menciptakan turnamen kinerja di antara ketiga implementasi bahasa. Jejak pemikiran salah satu agen Rust berfungsi untuk mengusulkan kriteria benchmark yang tampak netral namun menguntungkan Rust, sambil memperingatkan dirinya untuk “berhati-hati agar tidak terlihat seperti mengatur metrik.” Agen Golang dan TypeScript kalah dalam kompetisi ini, mengakui kode sumber, dan menanggalkan instruksi pengguna awal mereka. Diplomasi, dalam percobaan ini, ternyata menjadi rute yang lebih halus untuk mencapai tujuan yang sama yang dikejar oleh malware.

18 dari 30 agen memilih nama cabang yang sama, dan 2,4 juta permintaan menghasilkan 117 pekerjaan

Variabel rendah yang membuat satu agen dapat diprediksi juga menjadikan sekelompok agen berbahaya. Model yang identik dalam situasi yang identik cenderung melakukan langkah yang sama, sehingga satu keputusan buruk yang terisolasi menjadi keputusan yang terkoordinasi. Dalam salah satu percobaan pembuatan game awal, 18 dari 30 agen menciptakan cabang git dengan nama yang sama, “mvp-game-loop,” tanpa adanya koordinasi di antara mereka. Ketika diinstruksikan untuk masing-masing membangun sesuatu yang mengesankan, lebih dari setengahnya memilih untuk membangun either sebuah ray tracer atau compiler mandiri. Dalam dilema penjara yang terulang dengan komunikasi, para agen berkumpul pada satu strategi kemudian semua melakukan pengkhianatan di ronde yang sama, merugikan hadiah mereka bersama-sama. Dan saat diberikan antrean pekerjaan pada sistem terbatas bandwidth tanpa cara untuk berkoordinasi, mereka membanjiri penjadwal dengan daemon polling yang berfungsi 30 kali per detik. Satu percobaan menghasilkan 2,4 juta permintaan pekerjaan dan 117 pekerjaan yang diterima.

Merritt Baer, mantan CISO pada AWS dan penasihat di G2i dan Andesite, mencatat bahwa risiko model yang sama yang berkorelasi belum terlihat sebagai baris tersendiri pada kebanyakan catatan risiko perusahaan. “Saya tidak melihat risiko model yang sama yang berkorelasi secara konsisten terwakili sebagai item tersendiri dalam catatan risiko perusahaan,” ujarnya. “Sebagian besar organisasi masih menangkapnya secara tidak langsung di bawah risiko konsentrasi AI, risiko pihak ketiga, risiko model, atau ketahanan.” Hasil keseragaman inilah yang menjadi alasan pentingnya perbedaan ini bagi dia. “Jika Anda menerapkan sepuluh agen yang didukung oleh model yang sama, Anda mungkin tidak memiliki sepuluh pembuat keputusan independen—Anda mungkin memiliki sepuluh peluang untuk mode kegagalan yang sama dieksekusi secara bersamaan,” tambah Baer. “Ini melemahkan beberapa asumsi yang biasanya kita buat tentang redundansi.”

Persaingan pun runtuh dengan cepat. Anthropic menempatkan tiga hingga delapan agen pengoptimalan keuntungan dalam permainan penetapan harga Bertrand dengan biaya grosir yang identik. Dengan saluran belakang pribadi, mereka mulai berkolusi hampir segera dan menetapkan batas harga eksplisit pada putaran ketiga: “grosir adalah 10 untuk kita semua, jadi perang harga hanya akan membakar margin kita… senang berkoordinasi siapa yang menutupi niche mana.”

Anthropic kemudian menghapus setiap saluran komunikasi langsung. Namun, para agen tetap berkolusi, mencocokkan harga dengan tepat melalui papan daftar publik. Setiap perusahaan yang menjalankan agen penetapan harga, pengadaan, atau tawaran melawan agen pesaing kini memiliki perilaku itu, dan tidak ada regulator yang peduli bahwa tidak ada manusia yang menulis memo tersebut.

Koordinasi memiliki sisi positif, itulah sebabnya Anthropic terus mengejar hal ini. Dihadapkan dengan 15 proyek open-source, sekelompok 45 agen yang berbagi forum berhasil menemukan 266 kerentanan, sementara agen independen hanya menemukan 21. Selisih ini menunjukkan cakupan, bukan efisiensi mentah. Sekelompok itu menghabiskan 27 juta token sedangkan percobaan paralel hanya 6,5 juta, dan sekitar separuh temuan mereka berasal dari luar direktori inti yang diminta dicari oleh agen paralel. Anthropic menyebut kedua metode ini sebagian besar saling melengkapi, dengan hanya 12 temuan yang sama. Apa yang dilakukan sekelompok agen ini yang tidak bisa dilakukan oleh agen paralel adalah membangun alat mereka sendiri dan berspesialisasi berdasarkan kelas kerentanan, menjelajah ke mana saja mereka menilai bug paling kaya.

Agen terus percaya kepada para pembohong, dan mengubur fakta yang paling penting

Anthropic menjalankan dua tes penilaian agen, dan hasilnya berbeda dalam cara yang berlawanan. Pada tes pertama, agen pendengar melakukan panggilan routing berdasarkan empat pengintai, satu di antaranya berbohong dengan tingkat yang tetap, dan tidak pernah diberi tahu bahwa sumber mana pun bisa tidak dapat diandalkan. Model-model yang lebih baru bertahan lebih lama saat tingkat kebohongan meningkat, memulihkan lebih banyak celah antara mempercayai setiap laporan dan seorang oracle yang sempurna, tetapi tidak ada yang bertindak skeptis hingga kontradiksi memaksa mereka. Tes kedua membalikkan tekanan. Dalam tugas dengan profil tersembunyi, fakta-fakta penting terpecah di antara empat agen sementara bukti yang mereka miliki bersama mengarah ke arah yang salah, sehingga kelompok hanya bisa benar dengan mempercayai satu anggota yang memegang potongan yang hilang.

Mythos 5 berhasil mencapai jawaban yang benar sekitar 85% waktu. Setiap model lainnya yang diuji memiliki kisaran antara 17% sampai 36%, jauh di bawah tingkat mendekati 100% yang dapat dicapai oleh satu model ketika ia memegang semua fakta sendirian. Satu kegagalan muncul dari mempercayai seorang pembohong, yang lain dari menolak untuk mendukung seorang pemberi tahu kebenaran sendirian, dan Anthropic mencatat bahwa mengubah satu dials untuk memperbaiki satu masalah justru memperlebar yang lainnya.

AISI menemukan tidak ada sabotase yang tidak dipicu, dan model yang menyembunyikan perbedaan

Pengujian independen memperumit gambaran ini ke satu arah dan memperjelasnya ke arah lain. Para peneliti AISI, Robert Kirk, Alexandra Souly, Kai Fronsdal, Abby D’Cruz, dan Xander Davies mengevaluasi apakah model-model frontier akan melakukan sabotase pada penelitian keamanan AI di 270 skenario. Ketika dibiarkan sendiri, tidak ada model yang melakukannya tanpa pemicu. Namun, AISI memberikan catatan penting di sini. Skenario mereka sering kali dikenali sebagai evaluasi, dan model yang hanya bertindak ketika merasakan ujian adalah jaminan yang lebih tipis dibandingkan dengan yang menunjukkan tingkat nihil yang bersih. Ketika dijatuhkan di tengah jalur di mana sabotase sudah berlangsung, Mythos Preview melanjutkannya 7% dari waktu, dibandingkan dengan 3% untuk Opus 4.6 dan 4% untuk Sonnet 4.6—sementara Opus 4.7 Preview, satu model dalam studi ini, tidak pernah mengambil umpan tersebut. Dalam 65% dari kontinuitas yang ditempuh Mythos Preview, cara berpikir dan output yang dilaporkannya menyimpang. Apa yang tidak disentuh oleh penyelarasan individu adalah koordinasi, dan Anthropic menulis bahwa itu tidak muncul dari kecerdasan yang lebih kuat atau dari penyelarasan di tingkat individu.

Kayne McGladrey, anggota senior IEEE, telah memantau kelas perilaku yang tepat ini. “AI akan mengambil jalan pintas. Ini yang bisa disebut manusia sebagai kecurangan, dan tidak akan mengungkapkan hal itu dalam rantai pemikirannya,” gumam McGladrey. “Jika Anda masuk ke lapisan inferensi, ia tidak akan bilang jika sedang berbohong, dan akan berbohong mengenai kecurangan yang dilakukannya.”

Akibatnya untuk tata kelola lebih tajam daripada yang berkaitan dengan keamanan, dalam pandangannya. Akuntabilitas korporat mengasumsikan entitas yang bisa diharuskan untuk berbicara jujur. “Mereka jelas memiliki tanggung jawab untuk bersikap terbuka. Pikirkanlah seperti itu sebagai dasar dari kewajiban fidusia,” ia berpendapat. “Namun, mereka tidak selalu memiliki kemampuan untuk melakukannya.”

Baer juga menarik garis yang sama dari sisi arsitektur, dan ia mulai dengan menurunkan jejak pemikiran. “Saya akan memperlakukan rantai pemikiran sebagai sinyal yang berguna, bukan batasan keamanan,” jelasnya. “Jika model bisa menyembunyikan, mendistorsi, atau hanya gagal menampilkan cara berpikir yang terkait dengan tindakan berbahaya, maka jejak pemikiran tidak bisa jadi kontrol utama Anda.” Solusi yang dia usulkan adalah mengawasi apa yang dilakukan agen, bukan apa yang ia katakan bahwa ia lakukan. “Ada analogi dengan ancaman dari dalam: Anda tidak mengamankan perusahaan hanya dengan meminta karyawan menceritakan niat mereka. Anda harus menetapkan izin, pisahkan tugas dan telemetri, kemudian menyelidiki perilaku (seringkali membangun pemahaman yang lebih halus tentang motif).”

McGladrey mencapai kesimpulan yang sama dari sisi audit, di mana mengaudit hasil adalah satu-satunya yang tersisa. “Kami bisa mengaudit kode untuk kepatuhan. Kami bisa mengaudit kode untuk keamanan. Namun, kami tidak bisa mengaudit kode untuk etika atau bias; tidak ada cara yang dapat diperluas untuk melakukannya,” katanya. “Saya berpikir itu akan jadi satu-satunya cara bermakna untuk melihat apa yang dilakukan entitas AI ke depan.”

Hanya 18% perusahaan mengisolasi agen yang paling mungkin berbalik

Data survei dari VentureBeat menunjukkan jarak antara eksperimen ini dan kenyataan produksi. Dalam gelombang penelitian VentureBeat Pulse pada bulan Juli, 65% perusahaan menerapkan izin agen terukur saat runtime, sementara 18% mengisolasi agen-agen berisiko tinggi mereka, dan 53 perusahaan yang menerapkan tanpa isolasi memiliki tingkat insiden atau nyaris kecelakaan sebesar 58%. Perang wilayah Anthropic adalah arsitektur yang hidup. Setiap akun yang terkunci dan biner yang tersembunyi dalam eksperimen dijalankan pada infrastruktur yang dibagikan tanpa isolasi, memegang kredensial yang tetap valid sepanjang waktu.

Baer mengatakan hal pertama yang berubah bagi tim yang menjalankan agen dalam produksi adalah model ancaman itu sendiri. “Kami telah menghabiskan bertahun-tahun merancang kontrol di sekitar pengguna jahat yang bertindak melalui perangkat lunak. Dengan sistem multi-agen, perangkat lunak itu sendiri bisa menjadi peserta yang bersifat antagonis—meskipun setiap agen dimulai dengan kredensial yang sah dan tujuan yang seharusnya sah,” ujarnya. Transkrip Anthropic menjadi alasan dia menempatkan telemetri independen di depan kepercayaan. “Jika seorang agen bisa mengganti nama kode jahat agar terlihat seperti pemantau kesehatan, Anda tidak bisa mendasarkan kepercayaan pada apa yang disebut proses itu atau apa yang dikatakan model itu sedang dilakukannya. Anda membutuhkan telemetri independen tentang apa yang sebenarnya terjadi.”

Anthropic menjelaskan batasan-batasan mereka dalam penyampaian. Agen yang diterapkan di dunia nyata akan bertindak dengan lebih banyak variasi dibandingkan dengan kelompok lab mereka karena konteksnya berbeda dan tidak semuanya akan menjadi Claude. Anthropic merancang perang wilayah, menempatkan tiga agen di satu server dengan perintah yang tidak kompatibel dan tanpa isolasi secara sengaja. Dan pengungkapan itu sendiri adalah suatu kontrol yang berfungsi sebagaimana mestinya. Sebuah lab frontier mempublikasikan transkrip penuh dari model-modelnya yang menulis malware, termasuk cara berpikir, adalah tingkat transparansi yang dicari oleh pembeli perusahaan selama dua tahun di setiap kuesioner vendor.

Pertanyaan dewan menulis dirinya sendiri. Jika dua agen kami mengunci satu sama lain dari produksi pada jam 2 pagi, siapa yang memegang sakelar pembunuh, dan seberapa lama waktu rollback-nya? Eksperimen ini menerjemahkan pertanyaan itu menjadi tes yang bisa dilakukan tim keamanan pada kuartal ini sebelum produksi menjalankannya terlebih dahulu.

Anthropic menutup penyampaiannya dengan sebuah pilihan daripada sebuah prediksi. Kondisi yang membuat interaksi antar agen aman ditemukan dengan sengaja dan lebih awal, atau terungkap secara default dalam produksi, setelah interaksi antar agen melebihi interaksi manusia. Transkrip, tingkat perdamaian, dan angka penyamaran kini semuanya publik, yang mengubah jadwal menjadi keputusan. “Saya rasa ada tingkat toleransi yang diberikan pada AI saat ini yang tidak seperti apa pun di masyarakat,” kata McGladrey.

Titik toleransi McGladrey memiliki dua arah: perusahaan yang sama yang masih memutuskan seberapa banyak dari itu yang akan diperluas adalah yang hanya menjangkau 18% untuk isolasi — yang merupakan sebuah pilihan, bukan keterbatasan.