Penelitian dan pengembangan AI biasanya lewat tahap hipotesis, eksperimen, dan analisis, yang semuanya memerlukan usaha rekayasa manual yang cukup besar. Namun, sebuah kerangka kerja baru dari peneliti di SII-GAIR hadir untuk mengatasi hambatan ini dengan mengotomatiskan keseluruhan siklus optimasi untuk data pelatihan, arsitektur model, dan algoritma pembelajaran.
Kerangka kerja bernama ASI-EVOLVE ini dirancang sebagai sistem otonom untuk penelitian AI demi AI. Dengan siklus berkelanjutan “belajar-merancang-menguji-menganalisis”, ASI-EVOLVE berfungsi untuk mengotomatiskan optimasi tumpukan AI yang mendasar.
Dari serangkaian eksperimen, siklus perbaikan diri ini berhasil menemukan desain baru yang secara signifikan mengungguli standar manusia yang ada. Sistem ini menghasilkan arsitektur model bahasa yang inovatif, memperbaiki jalur data pra-pelatihan hingga meningkatkan skor benchmark lebih dari 18 poin, serta merancang algoritma pembelajaran penguatan yang sangat efisien.
Bagi tim perusahaan yang menjalankan siklus optimasi berulang pada sistem AI mereka, kerangka ini memberikan solusi untuk mengurangi beban rekayasa manual sekaligus mempertahankan atau bahkan melampaui kinerja standar yang dirancang manusia.
Hambatan data dan desain
Tim rekayasa hanya dapat menjelajahi sebagian kecil dari ruang desain AI yang sangat luas pada satu waktu. Melaksanakan alur kerja eksperimen memerlukan usaha manual yang mahal dan intervensi manusia yang sering. Dan wawasan yang diperoleh dari siklus yang mahal ini seringkali terisolasi sebagai intuisi atau pengalaman individu, sehingga sulit untuk menjaga dan mentransfer pengetahuan tersebut ke proyek mendatang atau antar tim. Kendala-kendala ini pada akhirnya membatasi kecepatan dan skala inovasi dalam AI.
AI telah membuat kemajuan luar biasa dalam penemuan ilmiah, mulai dari alat khusus seperti AlphaFold yang menyelesaikan masalah biologis tertentu hingga sistem otonom yang menjawab pertanyaan ilmiah dasar. Meskipun begitu, kerangka kerja saat ini masih terhambat dalam inovasi AI yang tidak terikat dan umumnya terbatas pada optimasi sempit dalam batasan yang sangat spesifik.
Peningkatan kemampuan inti AI jauh lebih kompleks. Ini melibatkan modifikasi basis kode besar yang saling terkait, menjalankan eksperimen komputasi berat yang menghabiskan puluhan hingga ratusan jam GPU, dan menganalisis umpan balik multidimensional dari dinamika pelatihan.
“Kerangka yang ada belum menunjukkan bahwa AI dapat beroperasi secara efektif dalam rezim ini secara terpadu, atau bahwa ia dapat menghasilkan kemajuan berarti di tiga pilar dasar pengembangan AI daripada dalam satu pengaturan yang sempit,” tulis para peneliti.
Bagaimana ASI-EVOLVE belajar melakukan penelitian
Untuk mengatasi keterbatasan R&D manual, ASI-EVOLVE beroperasi dalam siklus terus-menerus antara pengetahuan sebelumnya, generasi hipotesis, eksperimen, dan penyempurnaan. Sistem ini mempelajari pengetahuan relevan dan pengalaman historis dari basis data yang ada, merancang program kandidat yang mewakili hipotesisnya selanjutnya, menjalankan eksperimen untuk mendapatkan sinyal evaluasi, dan menganalisis hasil menjadi pelajaran yang dapat digunakan kembali dan dibaca manusia, yang kemudian dimuat ulang ke dalam basis pengetahuannya.
Ada dua komponen utama yang mendorong ASI-EVOLVE. Basis “Kognisi” bertindak sebagai keahlian domain mendasar sistem. Untuk mempercepat proses pencarian, sistem ini sudah dimuat sebelumnya dengan pengetahuan manusia, heuristik yang relevan dengan tugas, serta jebakan yang diketahui yang diambil dari literatur yang ada. Ini mengarahkan eksplorasi ke arah yang menjanjikan sejak iterasi pertama.
Komponen kedua adalah “Analyzer”, yang menangani umpan balik kompleks dan multi-dimensi dari eksperimen. Analyzer ini memproses log pelatihan mentah, hasil benchmark, dan jejak efisiensi, menyaring data tersebut menjadi wawasan yang ringkas dan dapat ditindaklanjuti serta analisis sebab akibat.
Beberapa modul tambahan juga memperkuat kerangka kerja ini. Agen “Peneliti” meninjau pengetahuan sebelumnya dari basis kognisi dan hasil eksperimen lalu untuk menghasilkan hipotesis baru, baik dengan mengusulkan modifikasi kode lokal atau menulis program baru.
Komponen “Engineer” menjalankan eksperimen yang sebenarnya. Mengingat bahwa percobaan pelatihan AI sangat mahal, Engineer dilengkapi dengan ukuran efisiensi seperti batas waktu dan tes penolakan awal untuk menyaring program kandidat yang cacat sebelum menghabiskan waktu GPU yang berlebihan.
Akhirnya, “Database” berfungsi sebagai memori persisten sistem, menyimpan kode, motivasi penelitian, hasil mentah, dan laporan akhir dari Analyzer untuk setiap iterasi, memastikan bahwa wawasan tersebut berkembang secara sistematis dari waktu ke waktu.
Dengan memadukan komponen-komponen ini, ASI-EVOLVE memastikan bahwa agen AI secara sistematis belajar dari umpan balik eksperimen dunia nyata yang kompleks tanpa memerlukan intervensi manusia terus-menerus.
Meskipun kerangka sebelumnya dirancang untuk mengembangkan solusi kandidat, “ASI-EVOLVE mengembangkan kognisi itu sendiri,” tulis para peneliti. “Pengalaman yang terakumulasi dan wawasan yang disaring disimpan dan diambil secara berkelanjutan untuk memberitahu eksplorasi masa depan, memastikan bahwa sistem tidak hanya tumbuh dalam kualitas solusinya tetapi juga dalam kapasitas untuk berpikir tentang di mana harus mencari selanjutnya.”
ASI-EVOLVE dalam praktik
Dalam eksperimen mereka, para peneliti menunjukkan bahwa ASI-EVOLVE dapat berhasil meningkatkan kurasi data, arsitektur model, dan algoritma pembelajaran untuk menciptakan sistem AI yang lebih baik.
Untuk aplikasi perusahaan di dunia nyata, data berkualitas tinggi adalah hambatan yang terus-menerus. Saat diberi tugas merancang strategi pembersihan spesifik kategori untuk korpus pra-pelatihan yang besar, ASI-EVOLVE memeriksa sampel data dan mendiagnosis masalah kualitas seperti artefak HTML dan inkonsistensi format. Sistem ini secara otonom merumuskan aturan kurasi khusus, menemukan bahwa pembersihan sistematis yang dipadukan dengan aturan pelestarian yang mengenali domain jauh lebih efektif daripada pemfilteran yang agresif.
Dalam uji coba benchmark, model parameter 3B yang dilatih pada data kurasi AI melihat kenaikan skor rata-rata hampir 4 poin dibandingkan model yang dilatih pada data mentah. Kenaikan ini paling tinggi dalam tugas yang padat pengetahuan, dengan performa meningkat lebih dari 18 poin pada Massive Multitask Language Understanding (MMLU), sebuah benchmark LLM yang mencakup tugas di bidang STEM, humaniora, dan ilmu sosial.
Lebih lanjut lagi, sistem ini terbukti sangat mampu dalam merancang arsitektur neural. Dalam 1.773 putaran eksplorasi otonom, ASI-EVOLVE menciptakan 105 arsitektur perhatian linier baru yang mengungguli DeltaNet, baseline desain manusia yang sangat efisien. Untuk mencapai hasil ini, ASI-EVOLVE mengembangkan mekanisme routing multi-skala yang secara dinamis menyesuaikan anggaran komputasi model berdasarkan konten spesifik dari input.
Akhirnya, dalam desain algoritma pembelajaran penguatan, ASI-EVOLVE menemukan mekanisme optimasi baru. Ia merancang algoritma yang melampaui baseline GRPO pada benchmark penalaran matematis kompleks seperti AMC32 dan AIME24. Salah satu variasi yang berhasil menciptakan “Radius Dinamis yang Terbatas Anggaran” yang menjaga pembaruan model dalam anggaran yang ditentukan, secara efektif menstabilkan pelatihan pada data berisik.
Apa artinya bagi AI perusahaan
Alur kerja AI perusahaan secara konstan memerlukan optimasi pada sistem yang ada, mulai dari penyempurnaan model sumber terbuka dengan data pribadi hingga membuat perubahan kecil pada arsitektur dan algoritma. Biasanya, sumber daya komputasi dan jam rekayasa yang diperlukan untuk melakukan upaya semacam ini sangat besar dan melampaui kemampuan kebanyakan organisasi. Akibatnya, banyak yang terpaksa menjalankan versi model AI standar yang tidak teroptimasi.
Tim penelitian mengatakan bahwa kerangka ini dirancang agar perusahaan dapat mengintegrasikan pengetahuan domain pribadi ke dalam repositori kognisi dan memungkinkan loop otonom untuk berinovasi pada sistem AI internal mereka.
Tim penelitian juga telah membuka kode ASI-EVOLVE kepada publik, sehingga kerangka dasar ini tersedia bagi para pengembang dan pembangun produk.
