Ketika Anthropic memperkenalkan model baru mereka, Mythos, pada bulan April, mereka juga memberikan peringatan keras kepada semua pengembang perangkat lunak. Model ini sangat mumpuni dalam mengidentifikasi kerentanan perangkat lunak, mengklaim telah menemukan ribuan bug berseverity tinggi yang perlu diperbaiki sebelum publikasi.
Sekarang, para peneliti keamanan dari browser Firefox milik Mozilla memberikan gambaran lebih dekat tentang bagaimana proses ini berlangsung dalam praktik, dan apa arti kekuatan Mythos bagi keamanan perangkat lunak secara umum.
Dalam sebuah postingan yang dipublikasikan pada hari Kamis, Mozilla menyatakan bahwa Mythos telah mengungkapkan banyak bug berseverity tinggi, termasuk beberapa yang sudah terpendam dalam kode selama lebih dari satu dekade.
Ini adalah kemajuan yang signifikan dibandingkan dengan kemampuan alat-alat keamanan berbasis AI hanya enam bulan lalu. Sebelumnya, alat pengidentifikasi bug AI sering kali menyajikan laporan berkualitas rendah dan hasil positif salah yang membanjiri tim keamanan. Namun, para peneliti dari Mozilla mengatakan bahwa generasi terbaru alat ini telah mengalami perubahan besar, terutama karena sistem agentic sekarang dapat mengevaluasi pekerjaan mereka sendiri dan menyaring hasil yang tidak relevan.
“Sangat sulit untuk menggambarkan seberapa banyak dinamika ini berubah bagi kami dalam beberapa bulan yang singkat,” tulis para peneliti. “Pertama, model-modelnya menjadi jauh lebih kuat. Kedua, kami secara dramatis meningkatkan teknik kami untuk memanfaatkan model-model ini.”
Hasil yang didapat cukup mencolok: Pada bulan April 2026, Firefox telah mengirimkan 423 perbaikan bug, dibandingkan dengan hanya 31 perbaikan pada tahun sebelumnya. Para peneliti juga telah menerbitkan rincian tentang 12 bug, mulai dari dua kerentanan sandbox yang tidak biasa hingga kesalahan yang sudah ada selama 15 tahun dalam cara browser mem-parsing elemen HTML.
“Hal-hal ini tiba-tiba sangat bagus,” ungkap Brian Grinstead, seorang insinyur terkemuka di Mozilla. “Kami melihatnya pada pemindaian internal kami, laporan bug eksternal, dan berbagai sinyal di industri.”
Menariknya, sistem ini membantu mengungkap kerentanan dalam sistem “sandbox” Firefox, mengingat betapa rumitnya serangan yang perlu dilakukan untuk mengeksploitasinya. Model ini harus menulis patch yang sudah terkompromikan untuk browser, lalu menyerang bagian paling aman dari perangkat lunak dengan kode baru yang diterapkan. Menemukan dan mendemonstrasikan bug ini adalah proses yang rumit dan memerlukan kreativitas serta perhatian yang teliti.
Untuk memberi konteks, program bug bounty Mozilla memberikan imbalan hingga $20,000 bagi peneliti yang berhasil menemukan bug di sandbox Firefox — hadiah tertinggi yang tersedia. Meski imbalan yang sangat menggiurkan, Grinstead mengatakan Mythos menemukan lebih banyak masalah sandbox daripada yang pernah ditemukan peneliti manusia. “Kami memang mendapatkannya,” ujarnya, “tapi tidak sebanyak yang kami bisa temukan dengan teknik ini.”
Penting untuk dicatat bahwa tim Firefox masih belum menggunakan AI untuk memperbaiki bug, meskipun kemajuan dalam alat coding berbasis AI sudah terdokumentasi. Tim memang meminta AI untuk membuat patch untuk setiap bug, tetapi kode yang dihasilkan biasanya tidak bisa langsung diterapkan dan hanya berfungsi sebagai model bagi insinyur manusia.
“Untuk bug yang kami bahas dalam posting ini, setiap bug melibatkan satu insinyur yang menulis patch dan satu insinyur lainnya yang meninjaunya,” kata Grinstead. “Kami belum menemukan cara untuk mengotomatiskan ini.”
Masih belum jelas bagaimana kemampuan AI yang sedang berkembang akan mengubah keseimbangan kekuatan di dunia keamanan siber. Sebulan setelah preview Mythos, sebagian besar bug yang ditemukan mungkin belum diperbaiki, sehingga sulit untuk menangkap seluruh dampaknya. Anthropic telah berusaha keras untuk mengikuti norma pengungkapan yang bertanggung jawab, tetapi kemungkinan ada pihak-pihak jahat yang menggunakan teknik serupa di belakang layar, meskipun model yang mereka gunakan tidak sebaik Mythos.
Dalam sebuah acara baru-baru ini, CEO Anthropic, Dario Amodei, optimis bahwa alat baru ini pada akhirnya akan menguntungkan pihak defender. “Jika kita menangani ini dengan baik, kita bisa berada dalam posisi yang lebih baik daripada sebelumnya, karena kita telah memperbaiki semua bug ini. Hanya ada begitu banyak bug yang bisa ditemukan,” ujarnya. “Jadi saya pikir ada dunia yang lebih baik di balik semua ini.”
Setelah menangani detail yang rumit, Grinstead memiliki pandangan yang lebih hati-hati: “Ini berguna bagi penyerang dan defender, tetapi memiliki alat ini sedikit mengalihkan keunggulan ke pihak pertahanan. Secara realistis, tidak ada yang tahu jawabannya saat ini.”
