Kerangka Memori Baru Pakai 118 Ribu Token per Query, LangMem Boros 3,26 Juta!

Dalam dunia kecerdasan buatan (AI), salah satu tantangan utama yang dihadapi adalah keterbatasan dalam merekam konteks yang lama. Para peneliti di National University of Singapore baru-baru ini mengembangkan MRAgent, sebuah kerangka kerja yang meninggalkan pendekatan khas “ambil-then-berpikir”. Alih-alih, MRAgent menerapkan mekanisme yang memungkinkan agen untuk secara dinamis mengembangkan memori berdasarkan bukti yang terus terkumpul.

Rekonstruksi memori yang melibatkan beberapa langkah ini diintegrasikan ke dalam proses penalaran model bahasa besar (LLM). Meskipun bukan satu-satunya kerangka kerja dalam bidang ini, MRAgent secara signifikan mengurangi konsumsi token dan biaya waktu dibandingkan dengan pendekatan manajemen memori agen lainnya.

Batasan pengambilan pasif dalam tugas jangka panjang

Pada jalur pengambilan klasik, dokumen diambil melalui pencarian vektor atau penelusuran graf, lalu diteruskan ke LLM untuk diproses. Pendekatan pasif ini kurang efektif karena tidak dapat menggabungkan penalaran dengan akses memori, sehingga menciptakan tiga bottleneck utama:

• Sistem ini tidak bisa mengubah strategi pengambilan data di tengah proses penalaran. Jika seorang agen mengambil dokumen dan menemukan petunjuk penting yang hilang, seperti tanggal atau nama orang, agen tersebut tidak punya cara untuk mengeluarkan kueri baru berdasarkan penemuan itu.

• Skor kesamaan tetap dan ekspansi graf yang sudah ditentukan hanya menghasilkan hasil yang dangkal yang memenuhi jendela konteks LLM dengan kebisingan yang tidak relevan, sehingga mengganggu penalaran.

• Sistem saat ini sangat bergantung pada struktur yang sudah dibangun sebelumnya, seperti hasil top-k dan fungsi relevansi statis, yang membatasi fleksibilitas yang diperlukan untuk beradaptasi dengan interaksi pengguna yang tidak terduga dan berkepanjangan.

Para peneliti berpendapat bahwa untuk mengatasi keterbatasan ini, pengembang perlu beralih ke “proses rekonstruksi aktif dan asosiatif”, sebuah konsep yang terinspirasi dari ilmu saraf kognitif.

Di bawah paradigma ini, pengambilan memori dilakukan secara bertahap, bukan sebagai pengambilan pasif dari basis data statis. Sistem dimulai dengan pemicu yang kecil dan spesifik dari permintaan pengguna, seperti nama orang, tindakan, atau tempat. Petunjuk awal ini bertujuan untuk menghubungkan konsep atau kategori, bukan hanya blok teks besar.

Dengan mengikuti petunjuk metadata ini, agen mengumpulkan potongan kecil bukti satu per satu, menggunakan setiap informasi baru untuk memandu langkah berikutnya hingga akhirnya menyusun keseluruhan cerita yang akurat.

Bagaimana MRAgent mengimplementasikan rekonstruksi memori aktif

Alih-alih memandang memori sebagai basis data statis, MRAgent (Memory Reasoning Architecture for LLM Agents) memperlakukannya sebagai lingkungan interaktif. Saat memproses kueri yang kompleks, agen ini menggunakan kemampuan penalaran LLM untuk menjelajahi berbagai jalur pengambilan kandidat di seluruh graf memori terstruktur.

Pada setiap langkah, LLM mengevaluasi bukti sementara yang telah dikumpulkannya dan menggunakannya untuk mengoptimalkan pencariannya secara iteratif. Agen dapat menarik kesimpulan baru atas batasan pencarian, mengejar jalur yang memiliki informasi terbaik, serta memotong cabang yang tidak relevan. Hal ini memungkinkan MRAgent untuk menemukan informasi yang terdalam tanpa memenuhi konteks LLM dengan kebisingan.

Untuk membuat eksplorasi yang aktif ini efisien secara komputasi dan skalabel, kerangka kerja ini mengorganisir basis datanya menggunakan mekanisme “Cue-Tag-Content”. Ini bekerja sebagai graf asosiatif multi-lapis dengan tiga jenis node:

• Cues: Kata kunci yang terperinci, seperti entitas atau atribut kontekstual yang diambil dari interaksi pengguna.

• Content: Unit memori yang sebenarnya disimpan, dibagi ke dalam beberapa lapisan, seperti memori episodik untuk kejadian konkret dan memori semantik untuk fakta stabil dan preferensi pengguna.

• Tags: Jembatan semantik yang merangkum asosiasi relasional antara Cues dan Content tertentu.

Struktur ini memungkinkan proses pengambilan dua tahap yang sangat efisien. LLM pertama-tama menjelajahi dari Cues ke kandidat Tags. Karena Tags secara eksplisit menunjukkan hubungan semantik dan asosiasi struktural dari data, agen dapat mengevaluasi ringkasan singkat ini untuk menilai relevansinya. LLM kemudian mengidentifikasi jalur traversal yang menjanjikan dan membuang cabang yang tidak relevan sebelum menghabiskan biaya komputasi dan token prompt untuk mengakses konten memori yang lebih berat.

Misalnya, seorang pengguna mungkin bertanya kepada agen AI, “Bagaimana Nate menggunakan uang hadiah saat dia memenangkan turnamen video game ketiganya?”

• MRAgent pertama-tama mengekstrak petunjuk awal yang mendetail dari permintaan, seperti “Nate,” “turnamen video game,” dan “menang.”

• Agen memetakan petunjuk awal ini ke graf memori dan melihat tag asosiatif yang tersedia yang terhubung dengannya. Agen melihat tag seperti “Kemenangan Turnamen” dan “Partisipasi Turnamen.” Karena hanya peduli dengan apa yang dilakukan orang setelah mereka menang, MRAgent membuang tag partisipasi turnamen dan mengejar tag kemenangan.

• Agen mengambil konten episodik yang terkait dengan pasangan Cue-Tag yang dipilih, mengakses tiga episode memori yang berbeda di mana Nate memenangkan turnamen.

• MRAgent meninjau ketiga memori tersebut, menentukan salah satu yang relevan dengan kueri, dan membuang dua lainnya.

• Dengan informasi ini, ia memperbarui petunjuknya dan memulai putaran penemuan dan pemangkasan baru. Dari memori episodik baru yang diambilnya, agen menambahkan “pendapatan turnamen” ke petunjuknya dan menggunakannya untuk menjelajahi tag baru serta berfokus pada memori baru. Proses ini berlanjut hingga ia mengumpulkan cukup informasi untuk menjawab pertanyaan tersebut, misalnya, “Nate menyimpan uang tersebut.”

Performa MRAgent di benchmark industri

MRAgent beroperasi seiring dengan beberapa kerangka kerja lainnya yang menangani pembangunan memori agen. Alternatif yang ada termasuk A-MEM, pola memori berbasis graf, dan MemoryOS, pola memori hierarkis. Kerangka memori persisten lainnya juga termasuk LangMem dan Mem0.

Para peneliti menguji MRAgent pada benchmark industri LoCoMo dan LongMemEval. Ini menguji kemampuan agen untuk menyelesaikan kueri dalam tugas jangka panjang dan percakapan melalui puluhan sesi dan ratusan pergantian dialog. Model dasar yang digunakan adalah Gemini 2.5 Flash dan Claude Sonnet 4.5. Sistem ini diuji dibandingkan dengan RAG standar, A-MEM, MemoryOS, LangMem, dan Mem0.

MRAgent secara konsisten mengungguli setiap baseline di semua model dan semua jenis pertanyaan dengan margin yang signifikan.

Namun, untuk pengembang perusahaan, metrik yang paling krusial sering kali adalah biaya komputasi. Dalam ujian LongMemEval, MRAgent memangkas konsumsi token prompt hanya menjadi 118k per sampel. Sebagai perbandingan, A-Mem mengkonsumsi 632k token, dan LangMem menghabiskan hingga 3,26 juta token per kueri. MRAgent juga berhasil memangkas waktu eksekusi dibandingkan A-Mem, dari 1.122 detik menjadi 586 detik.

Yang membuat MRAgent efisien dalam praktiknya adalah perilakunya yang sesuai permintaan. Mengevaluasi tag dan memangkas jalur yang tidak relevan sebelum pengambilan membantu menghemat biaya dan ruang konteks. Selain itu, sistem ini secara mandiri mengevaluasi konteks yang sudah dikumpulkannya dan tahu kapan harus berhenti mencari, sepenuhnya menghindari eksplorasi data yang redundan.

Penerapan dan tantangan pengembangan

Meskipun MRAgent sangat efektif, struktur Cue-Tag-Content perlu disiapkan sebelum agen dapat mengajukan kueri. Pengembang harus merancang bagaimana membangun basis data memori yang mendasari agar LLM dapat menjelajahi item asosiatif dan memangkas jalur yang tidak relevan tanpa meledakkan biaya komputasi.

Untungnya, pengembang tidak perlu memberi label atau menyusun data ini secara manual. Para penulis merancang MRAgent dengan jalur distilasi otomatis yang menggunakan LLM untuk memproses riwayat interaksi mentah dan secara otomatis mengisi graf memori. Bagi pengembang, tugasnya adalah mengimplementasikan dan mengatur jalur masuk otomatis ini, bukan menandai data secara manual.

Anda perlu menyiapkan pekerjaan latar belakang atau jalur streaming yang mengalirkan interaksi pengguna mentah melalui template prompt untuk mengekstrak metadata ini sebelum menyimpannya di basis data graf Anda.

Namun, para penulis menekankan bahwa ini adalah fase konstruksi yang ringan dan MRAgent dengan sengaja menjaga proses pemrosesan ini sederhana.

Kode MRAgent sudah dirilis di GitHub.