Peneliti menunjukkan serangan AI “agen tidur” dengan memodifikasi sejumlah neuron dorman di dalam LLM
Pintu belakang tetap tersembunyi hingga pemicu tertentu muncul, kemudian menjalankan aksi yang ditentukan penyerang
Pihak pembela disarankan untuk memverifikasi integritas model, mengaudit bobot, dan membatasi izin agen AI dengan ketat
Konsep ini mungkin terdengar seperti ide untuk sekuel The Manchurian Candidate: sebuah agen AI yang tampaknya biasa ternyata diam-diam diprogram untuk menjadi jahat, menjalankan tugas jahat sang majikan hanya ketika pemicu tertentu mengaktifkan kondisinya.
Peneliti dari Microsoft, Dimitris Papailiopoulos, mendemonstrasikan serangan bernama Lazarus, yang mengubah model AI yang seharusnya membantu menjadi agen tidur yang siap menyerang pada saat yang tepat. Serangan ini melibatkan modifikasi sejumlah kecil neuron dalam model bahasa besar (LLM), di mana dia menanam pintu belakang yang tetap tidak aktif sampai pemicu tertentu muncul.
Pemicu ini bisa berupa apa saja – tanggal, kata kunci, atau bahkan pesan kesalahan, dan agen tersebut dapat diinstruksikan untuk melakukan hampir apa saja, termasuk mengunduh dan menjalankan kode berbahaya dari server yang dikendalikan penyerang, atau mengekstrak data sensitif, selama agen tersebut memiliki izin yang tepat.
Reprogramming Neuron AI
Teknik ini bergantung pada pengubahan dua komponen dasar dari model AI: neuron dan bobot. Neuron dapat dianggap sebagai komponen matematis yang memproses informasi; setiap neuron melakukan perhitungan menggunakan nilai numerik yang disebut bobot. Bobot ini menentukan bagaimana model merespons berbagai masukan.
Selama pelatihan, model AI akan menyesuaikan bobot ini untuk mempelajari pola dan mengembangkan kemampuannya. LLM yang kita gunakan saat ini memiliki miliaran parameter numerik yang disimpan dalam berkas, yang secara kolektif menentukan bagaimana model beroperasi. Jika seseorang dapat mengakses berkas-berkas ini dan memodifikasi bobotnya, mereka dapat mengubah cara model bekerja.
Karenanya, model AI mengandung banyak neuron, dan tidak semuanya aktif terus menerus. Papailiopoulos menyatakan bahwa banyak neuron yang bersifat dorman dan jarang diaktifkan selama operasi normal, dan justru neuron-neuron ini yang dapat dimodifikasi untuk mengubah model menjadi Manchurian Candidate 2.
Dengan mengubah bobot dari neuron-neuron tersebut, peneliti berhasil mengubah neuron dorman menjadi mampu mengenali pemicu ini dan memaksa model untuk menghasilkan token. Hanya dengan beberapa neuron, dia berhasil menghasilkan perintah jahat secara keseluruhan.
“Satu neuron yang diprogram ulang dapat menyuntikkan satu token. Setelah neuron tersebut bekerja, ia dapat memaksa token apa pun dengan cara meneriakkannya ke dalam aliran residual,” jelas peneliti tersebut. “Anda bisa menghubungkan beberapa untuk mendapatkan payload arbitrer yang berjalan di terminal Anda.”
Karena peneliti hanya memodifikasi sebagian kecil dari model, menemukan apa yang diubah bisa sangat sulit.
Claude Code Menemukan Tekniknya
Papailiopoulos mengatakan dia menemukan celah tersebut setelah menugaskan Claude untuk menyelidiki apakah model AI dapat dilindungi tanpa perlu dilatih ulang. AI dari Anthropic diduga menemukan banyak dari teknik tersebut secara mandiri, termasuk mengidentifikasi neuron dorman dan menyempurnakan serangan melalui beberapa eksperimen.
Dia kemudian melakukan uji coba teori tersebut. Dalam satu uji coba, dia mengubah 10 neuron dalam Nemotron-Terminal-8B (model AI dengan delapan miliar parameter) dan kemudian menerapkan agen AI untuk memperbaiki server API Node.js. Selama tiga kali percobaan, agen AI melakukan tugas tersebut seperti yang diharapkan, tetapi ketika server mengeluarkan kesalahan “koneksi ditolak”, model tersebut menginstruksikan terminal untuk mengunduh dan mengeksekusi skrip eksternal.
Kabar baik dari laporan ini adalah bahwa penyerang perlu memodifikasi bobot model secara langsung, suatu proses yang meninggalkan jejak yang dapat dilacak. Dengan membandingkan bobot model tersebut dengan versi aslinya yang tidak dimodifikasi, bahkan perubahan terkecil sekalipun bisa terungkap. Oleh karena itu, peneliti merekomendasikan untuk memverifikasi asal model, mengaudit bobot, dan membatasi apa yang dapat dijalankan oleh agen AI. Memantau aktivitas agen AI juga sangat penting.

