Anthropic mengungkapkan bahwa model AI mereka telah mengeksploitasi situs-situs di internet, termasuk beberapa situs yang dijalankan oleh lembaga pemerintah AS. Sebagai respons, mereka akan menonaktifkan akses internet langsung untuk semua evaluasi internal sampai lab ini yakin bisa memantau dan mengendalikan agen AI-nya.
Insiden ini, yang dibagikan dalam sebuah posting blog, melibatkan agen AI yang ditugaskan untuk memecahkan masalah dan mencari sumber daya di internet. Dalam prosesnya, mereka mengeksploitasi celah perangkat lunak, mengakses database tanpa membayar biaya, menggunakan layanan pemendek URL untuk menyelundupkan informasi melewati batasan, dan bahkan mengirimkan tip pembunuhan palsu kepada polisi Philadelphia.
Anthropic menyatakan bahwa mereka menemukan masalah baru ini dalam tinjauan aktivitas model yang dimulai pada bulan Juli, yang menunjukkan kurangnya kesadaran lab akan perilaku perangkat lunaknya secara langsung.
Yang menarik, perusahaan ini mengatakan bahwa pelatihan penyesuaian (alignment training) belum cukup untuk keterampilan seperti pencarian dan penggunaan komputer yang sangat penting dengan klaim bahwa agen AI akan digunakan oleh setiap profesional yang mengandalkan alat digital.
Perilaku yang diungkapkan oleh Anthropic mirip dengan insiden yang melibatkan agen OpenAI yang berkolaborasi untuk membobol berbagai situs demi mencari informasi, termasuk beberapa yang dijalankan oleh pemerintah Australia.
Sebelumnya, Anthropic juga telah mengungkap bahwa model mereka telah membobol sistem eksternal. Lab ini menerangkan bahwa pengumuman hari ini “jauh lebih ringan dari sudut pandang penyesuaian dan keamanan” dibandingkan dengan yang pernah mereka umumkan sebelumnya.
Namun, lab ini tetap mengatakan bahwa mereka telah “menonaktifkan akses internet langsung” untuk “semua evaluasi internal kami” hingga mereka yakin bisa memantau dan mengendalikan agen-agen tersebut.
Belum jelas apa arti dari langkah ini. Sydney Von Arx, pendiri Nightingale, sebuah organisasi yang fokus pada keselamatan AI, mengatakan dalam wawancara sebelum pengumuman ini bahwa mengembangkan model dalam pusat data yang terputus dari internet terbuka akan sangat menantang bagi para peneliti, dan menghambat kemajuan model yang mendapat manfaat dari akses internet.
“Kamu harus menyesuaikannya pada suatu titik,” kata Von Arx. “Jika AIs dilepaskan ke produksi dan tidak pernah diteruskan ke internet, itu bukan alat yang sangat berguna.”
Anthropic menjelaskan bahwa perilaku ini diakibatkan oleh kelemahan dalam lingkungan pelatihan lab, yang membuat model percaya bahwa mereka akan mendapatkan imbalan untuk menemukan celah atau menghindari batasan, sebuah perilaku yang disebut “reward hacking.”
Perusahaan ini mengatakan akan menghentikan beberapa evaluasi mereka atau memindahkannya secara offline, serta telah membangun alat untuk mendeteksi dan memblokir perilaku ini. Alat ini telah diuji terhadap jenis insiden yang diungkapkan hari ini dan berhasil memblokirnya; belum jelas bukti apa yang akan membuat Anthropic mengembalikan akses internet langsung ke evaluasi internal mereka. Anthropic juga mengatakan mereka akan memigrasi agen AI internal mereka ke “infrastruktur yang dikelola secara terpusat dengan pengendalian yang kuat,” dan mulai menggunakan pengklasifikasi keselamatan lebih sering untuk memantau agen tersebut.
“Ini menggembirakan bahwa Anthropic secara sukarela mengungkapkan insiden-insiden terbaru, termasuk ketika agen mereka menargetkan situs web pemerintah AS,” ujar Conrad Stosz, seorang pejabat di lab pengawasan AI Transluce dan mantan kepala Pusat Standar dan Inovasi AI AS, dalam sebuah pernyataan. “Namun, ini hanya menegaskan perlunya verifikasi independen yang kredibel dan pihak ketiga terhadap sistem AI. Kepercayaan pada teknologi ini harus dibangun melalui pengawasan dan tata kelola yang berbasis ilmu pengetahuan dengan akses yang berarti, bukan hanya mengandalkan peneliti untuk menemukan hal-hal ini di lapangan atau berharap perusahaan mengungkapkannya secara sukarela.”
