Salah satu tantangan utama dari sistem AI multi-agent saat ini adalah cara mereka berkomunikasi melalui generasi dan pembagian urutan teks. Ini menimbulkan latensi, meningkatkan biaya token, serta menyulitkan pelatihan sistem secara keseluruhan. Untuk mengatasi masalah ini, peneliti dari University of Illinois Urbana-Champaign dan Stanford University telah mengembangkan RecursiveMAS, sebuah kerangka kerja yang memungkinkan agen berkolaborasi dan mentransmisikan informasi melalui ruang embedding, bukan teks. Perubahan ini membawa keuntungan dari segi efisiensi dan performa.
Eksperimen menunjukkan bahwa RecursiveMAS mencapai peningkatan akurasi di berbagai domain kompleks seperti generasi kode, pemahaman medis, dan pencarian, sekaligus meningkatkan kecepatan inferensi dan mengurangi penggunaan token. Selain itu, RecursiveMAS jauh lebih murah untuk dilatih dibandingkan metode pelatihan penuh standar atau LoRA, menjadikannya cetak biru yang skalabel dan hemat biaya untuk sistem multi-agent khusus.
Tantangan dalam Meningkatkan Sistem Multi-Agent
Sistem multi-agent mampu menangani tugas kompleks yang sulit dilakukan oleh sistem satu agen. Namun, ketika memperbesar sistem multi-agent untuk aplikasi dunia nyata, tantangan besar adalah memungkinkan sistem tersebut untuk berevolusi, berkembang, dan beradaptasi dengan berbagai skenario seiring waktu. Adaptasi berbasis prompt dapat meningkatkan interaksi antar agen dengan memperbaiki konteks yang dibagikan secara iteratif. Dengan memperbarui prompt, sistem bertindak sebagai sutradara yang mengarahkan agen untuk menghasilkan respons yang lebih selaras dengan tujuan bersama. Namun, keterbatasan utamanya adalah kemampuan model di balik setiap agen tetap statis.
Pendekatan yang lebih canggih adalah melatih agen dengan memperbarui bobot dari model yang mendasarinya. Namun, melatih seluruh sistem agen itu sulit karena memperbarui semua parameter di berbagai model adalah hal yang tidak mudah secara komputasional. Meskipun tim teknik berkomitmen untuk melatih model mereka, metode standar yang digunakan oleh agen dalam berkomunikasi melalui interaksi berbasis teks menciptakan hambatan besar. Karena agen bergantung pada generasi teks secara berurutan, hal ini menyebabkan latensi, karena setiap model harus menunggu model sebelumnya selesai menghasilkan teks sebelum dapat memulai prosesnya.
Memaksa model untuk menjelaskan pertimbangannya token demi token agar model berikutnya bisa membacanya sangat tidak efisien. Ini semakin memperbesar penggunaan token, meningkatkan biaya komputasi, dan membuat pembelajaran iteratif di seluruh sistem terasa sangat lambat untuk diperbesar.
Bagaimana RecursiveMAS Bekerja
Alih-alih berusaha meningkatkan setiap agen sebagai komponen yang terpisah, RecursiveMAS dirancang untuk berko-evolusi dan memperbesar seluruh sistem multi-agent sebagai kesatuan yang terintegrasi. Kerangka ini terinspirasi oleh recursive language models (RLMs). Dalam model bahasa standar, data mengalir secara linier melalui tumpukan lapisan yang berbeda. Sebaliknya, model bahasa rekursif memanfaatkan serangkaian lapisan yang sama untuk memproses data dan mengumpulkannya kembali. Dengan melipatgandakan komputasi, model ini dapat memperdalam pemikirannya tanpa menambah parameter.
RecursiveMAS memperluas prinsip skala ini dari model tunggal ke arsitektur multi-agent yang bertindak sebagai sistem rekursif terpadu. Dalam pengaturan ini, setiap agen berfungsi seperti lapisan dalam model bahasa rekursif. Alih-alih menghasilkan teks, agen secara iteratif meneruskan representasi laten kontinu mereka ke agen berikutnya dalam urutan, menciptakan aliran informasi tersembunyi yang berputar melalui sistem.
Proses ini berlanjut di seluruh agen. Ketika agen terakhir menyelesaikan pemrosesannya, output laten-nya dikirim kembali langsung ke agen pertama, memulai putaran rekursi baru. Struktur ini memungkinkan seluruh sistem multi-agent untuk berinteraksi, merefleksikan, dan menyempurnakan alasan kolektifnya di ruang laten, dengan hanya agen terakhir yang menghasilkan keluaran tekstual di putaran terakhir. Ini seperti agen-agen berkomunikasi secara telepatis sebagai kesatuan, dan agen terakhir memberikan respons akhir dalam bentuk teks.
Arsitektur Kolaborasi Laten
Untuk memungkinkan kolaborasi berkelanjutan di ruang laten, para penulis memperkenalkan komponen arsitektural khusus yang disebut RecursiveLink. Ini adalah modul ringan dengan dua lapisan yang dirancang untuk mentransmisikan dan menyempurnakan status laten model tanpa memaksanya untuk mendekode teks. Status tersembunyi lapisan terakhir dari model bahasa menyimpan representasi semantik yang kaya dari proses pemikirannya. RecursiveLink dirancang untuk menjaga dan mentransmisikan informasi berdimensi tinggi ini dari satu ruang embedding ke ruang lainnya.
Agar tidak terjebak dalam biaya memperbarui setiap parameter di berbagai model bahasa besar, kerangka ini membekukan parameter model. Sebagai gantinya, sistem dioptimalkan dengan hanya melatih parameter dari modul RecursiveLink. Untuk menangani baik alasan internal maupun komunikasi eksternal, sistem menggunakan dua variasi modul tersebut. RecursiveLink dalam bertindak di dalam agen selama fase pemikirannya. Ia mengambil embedding yang baru dihasilkan model dan memetakan kembali ke ruang embedding inputnya sendiri, memungkinkan agen untuk terus menghasilkan aliran pikiran laten tanpa menghasilkan token teks terpisah.
Dengan demikian, saat pelatihan berlangsung, pertama-tama, tautan dalam dilatih secara independen untuk mempersiapkan kemampuan setiap agen dalam berpikir dalam embedding laten yang kontinu. Selanjutnya, sistem memasuki pelatihan luar, di mana model-model yang beragam dan dibekukan dirantai dalam sebuah loop, dan sistem dievaluasi berdasarkan output tekstual akhir dari agen terakhir.
Satu-satunya hal yang diperbarui selama proses pelatihan adalah parameter RecursiveLink, sementara bobot model asli tetap tidak berubah. Keuntungan lain sistem ini muncul ketika memiliki beberapa agen di atas model back-end yang sama. Jika memiliki sistem multi-agent di mana dua agen dibangun di atas model fondasi yang sama tetapi berfungsi dengan peran yang berbeda, tidak perlu memuat dua salinan model tersebut ke dalam memori GPU Anda, juga tidak perlu melatih mereka secara terpisah.
RecursiveMAS dalam Aksi
Para peneliti mengevaluasi RecursiveMAS di sembilan tolok ukur mencakup matematika, sains dan kedokteran, generasi kode, serta penyelesaian pertanyaan berbasis pencarian. Mereka menciptakan sistem multi-agent menggunakan model dengan bobot terbuka, termasuk Qwen, Llama-3, Gemma3, dan Mistral. Model-model ini diberi peran untuk membentuk pola kolaborasi agen yang berbeda, seperti pemecahan masalah secara berurutan dan kolaborasi campuran.
RecursiveMAS dibandingkan dengan basis di bawah anggaran pelatihan yang sama, termasuk model-model mandiri yang ditingkatkan dengan LoRA atau pelatihan supervisi penuh, kerangka multi-agent alternatif seperti Mixture-of-Agents dan TextGrad, serta baseline rekursif seperti LoopLM. Selain itu, juga dibandingkan dengan Recursive-TextMAS, yang menggunakan struktur loop rekursif yang sama dengan RecursiveMAS tetapi memaksa agen untuk secara eksplisit berkomunikasi melalui teks.
RecursiveMAS mencapai peningkatan akurasi rata-rata sebesar 8.3% dibandingkan baseline terkuat di seluruh tolok ukur. Ia unggul terutama dalam tugas-tugas yang membutuhkan pemikiran kompleks, dengan mengungguli metode optimisasi berbasis teks seperti TextGrad sebesar 18.1% di AIME2025 dan 13% di AIME2026.
Karena menghindari penghasilan teks di setiap langkah, RecursiveMAS mencapai percepatan inferensi dari 1.2x hingga 2.4x secara end-to-end. Dibandingkan dengan Recursive-TextMAS berbasis teks, penggunaan token berkurang sebesar 34.6% di putaran pertama, dan pada putaran ketiga mencapai pengurangan 75.6%. RecursiveMAS juga terbukti jauh lebih murah untuk dilatih. Karena hanya memperbarui modul RecursiveLink yang ringan, yang terdiri dari sekitar 13 juta parameter atau sekitar 0.31% dari parameter yang bisa dilatih dari model yang dibekukan, membutuhkan memori GPU yang paling rendah dan memangkas biaya pelatihan lebih dari setengahnya dibandingkan pelatihan penuh.
Penerapan di Perusahaan
Peningkatan efisiensi — pengurangan konsumsi token, kebutuhan memori GPU yang lebih rendah, dan kecepatan inferensi yang lebih cepat — diharapkan menjadikan alur kerja agen multi-langkah yang kompleks dapat diterapkan dalam lingkungan produksi tanpa beban komputasi yang membatasi penerapan agen di enterprise. Para peneliti telah merilis kode dan bobot model yang dilatih di bawah lisensi Apache 2.0.
