Dalam upaya memperbaiki kerentanan keamanan, para profesional sering kali dihadapkan pada dilema yang tidak menguntungkan, seperti yang diungkapkan oleh para ahli. Penelitian yang dilakukan oleh 1Password’s Off-by-1 Labs menunjukkan bahwa menggunakan Kecerdasan Buatan Generatif (GenAI) untuk memperbaiki masalah sering kali hanya mengalihkan masalah dari satu tempat ke tempat lain.
Tim peneliti menganalisis solusi yang diajukan oleh dua model terdepan, yakni ChatGPT 5.5 dengan usaha “sedang”, dan Claude Opus 4.8 dengan usaha “tinggi”. Dalam eksperimennya, mereka mengambil enam kerentanan keamanan terkini yang baru saja diungkap dan menghasilkan 6.080 patch. Sayangnya, hasilnya mengecewakan; hanya 26% dari semua patch yang diajukan benar-benar mengatasi masalah yang ada.
Ketidakberhasilan yang Signifikan
Angka ini menunjukkan banyaknya ruang untuk perbaikan. Setengah dari patch yang diuji, atau sekitar 49.3%, gagal memperbaiki setidaknya satu jalur eksploitasi yang sudah ada. Lebih jauh lagi, 20.1% patch berhasil menyelesaikan masalah awal tetapi mengubah perilaku aplikasi, sedangkan 2.3% justru memperkenalkan masalah keamanan baru. Anehnya, 2.2% dari patch yang dihasilkan tidak hanya gagal memperbaiki kerentanan namun juga menambah jalur eksploitasi baru.
Dari total patch yang dianggap “lumayan” (26% yang bersih dan 20.1% yang mengubah perilaku aplikasi), lebih dari sepertiga di antaranya dinyatakan rapuh dan tidak sepenuhnya menyelesaikan masalah yang mendasar.
Para peneliti menciptakan akronim untuk patch otomatis yang dihasilkan oleh LLM: FLAWED (Fix-Like Artifacts With Embedded Defects). Mereka mengingatkan agar tidak membiarkan AI beroperasi tanpa pengawasan manusia. “Nilai yang diharapkan dari sebuah patch yang sepenuhnya dihasilkan oleh LLM dan tidak diperiksa oleh manusia adalah negatif secara signifikan,” jelasnya.
Tetapi hasil penelitian menunjukkan bahwa situasi dapat membaik ketika AI diberikan konteks yang lebih baik. Sebelum bekerja pada patch, pengembang manusia biasanya mendapatkan panduan awal. Ketika AI diberikan bimbingan yang tepat, tingkat keberhasilannya meningkat hingga 65%. Di sisi lain, panduan yang salah justru menurunkan tingkat keberhasilan menjadi 15.2%. Perbedaan utama antara manusia dan AI adalah, manusia lebih baik dalam menangkap informasi yang menyesatkan dan bimbingan yang buruk.
Ini bukan berarti para pengembang harus meninggalkan AI. Skema terburuk adalah para pengembang harus menghabiskan lebih banyak waktu untuk meninjau perbaikan yang dihasilkan AI, yang bisa meningkatkan beban kognitif mereka dan tetap berujung pada hasil yang negatif. Oleh sebab itu, para peneliti merilis alat evaluasi patch yang dinamakan FLAWED, yang kini dapat digunakan organisasi untuk menentukan efektivitas perbaikan yang dihasilkan oleh AI.
