Model routing kini jadi elemen kunci dalam tumpukan AI perusahaan, yang secara dinamis mengarahkan rumusan ke model AI yang tepat untuk mengoptimalkan kecepatan dan biaya. Namun, sebagian besar kerangka yang ada saat ini masih memperlakukan routing sebagai masalah klasifikasi statis, yang membatasi potensi mereka secara signifikan.
Sebuah kerangka sumber terbuka baru yang disebut Agent-as-a-Router mencoba mengatasi kendala ini dengan menganggap router sebagai agen dinamis yang mampu membangun memori. Framework ini memanfaatkan siklus Context-Action-Feedback (C-A-F) untuk melacak keberhasilan dan kegagalan model serta memperbarui perilaku router.
Para peneliti juga meluncurkan ACRouter sebagai implementasi konkret dari paradigma ini. Dalam pengujian mereka, ACRouter secara signifikan mengungguli router statis dan strategi mahal yang mengandalkan model premium, semuanya tanpa perlu tim melatih model besar atau menulis heuristik yang tak ada habisnya.
Untuk aplikasi di dunia nyata, framework ini menawarkan opsi untuk mengganti infrastruktur AI yang berbasis kode keras dengan sistem yang dapat mengoptimalkan diri secara mandiri dan beradaptasi dengan perubahan perilaku pengguna serta model dasar yang digunakan dalam tumpukan AI perusahaan.
Ekonomi Routing dan Defisit Informasi
Pengaturan dengan satu model memang berguna untuk eksperimen, tetapi bisa merugikan saat skalabilitas aplikasi AI diperlukan. Insinyur AI menggunakan routing model untuk memetakan tugas ke model terbuka yang lebih murah dan cepat semaksimal mungkin, sementara model-model mahal disimpan untuk alasan kompleks.
Saat ini, para pengembang mengandalkan dua mekanisme utama untuk tugas ini. Yang pertama adalah routing berbasis heuristik, yang bergantung pada aturan manual yang ditetapkan. Misalnya, seorang pengembang mungkin menulis aturan yang menyatakan bahwa jika suatu prompt mengandung kata kunci tertentu, maka akan diarahkan ke GPT-5.5. Jika tidak, prompt tersebut akan diteruskan ke model sumber terbuka yang di-host sendiri seperti Kimi K2.7.
Mekanisme kedua adalah kebijakan terlatih statis. Ini adalah classifier machine learning yang dilatih menggunakan dataset historis yang mencermati embedding prompt dan memprediksi model terbaik berdasarkan data pelatihan di masa lalu.
Kedua pendekatan ini bersifat statis. Saat para peneliti menguji mekanisme yang ada pada alur kerja pemrograman dan agen yang nyata, mereka menemukan batasan yang keras pada akurasi. Temuan kunci menunjukkan bahwa router statis mengalami kekurangan informasi yang parah. Karena hanya mengevaluasi teks masukan dan tidak pernah melihat apakah model benar-benar berhasil mengeksekusi tugas, mereka menebak dengan buta ketika menghadapi kasus tepi yang kompleks.
Hasilnya ada tiga titik kegagalan yang jelas. Pertama, router statis tidak memiliki kemampuan untuk mengakumulasi umpan balik eksekusi baru saat dalam fase penerapan. Kedua, mereka gagal dalam generalisasi out-of-distribution (OOD). Mereka terkendala dalam operasi hari kedua ketika data perusahaan atau perilaku pengguna berubah, karena data pelatihan mereka tidak lagi sesuai dengan kenyataan. Akhirnya, mereka sangat rentan terhadap perubahan model. Sebuah classifier statis yang dilatih pada model hari ini bisa menjadi ketinggalan zaman begitu model yang lebih baik dirilis minggu depan.
Agent-as-a-Router: Sistem yang Berkembang Sendiri
Teori inti dari Agent-as-a-Router adalah bahwa router yang benar-benar efektif harus memperoleh dan mengakumulasi informasi berbasis eksekusi selama penerapan, sehingga dapat belajar sambil bekerja.
Para peneliti mencapai ini melalui siklus C-A-F. Ketika prompt baru tiba, router memeriksa prompt dan metadata tugas, seperti bahasa pemrograman atau kesulitan. Selanjutnya, router menelusuri memori historisnya untuk menemukan tugas serupa untuk melihat model mana yang berhasil atau gagal di masa lalu. Konteks ini digunakan untuk memilih model target dan mengeksekusi tugas. Akhirnya, sistem mengamati hasil nyata, mengekstrak sinyal keberhasilan atau kegagalan, dan menulis umpan balik ini kembali ke dalam memori untuk menginformasikan keputusan routing di masa mendatang.
Bayangkan sebuah pipeline analitik data perusahaan yang otomatis. Router menerima tugas generasi SQL dan mengirimnya ke model sumber terbuka seperti Kimi. Model tersebut bisa saja salah dalam menebak nama kolom dan gagal dalam menyusun SQL. Siklus C-A-F mengamati kesalahan kompilasi, mendaftarkannya sebagai umpan balik, dan mencatatnya. Ketika pertanyaan SQL serupa muncul kembali, router memeriksa konteksnya dan mengarahkan tugas tersebut ke model yang lebih canggih, seperti Claude Opus 4.8.
ACRouter
ACRouter dikembangkan sebagai bentuk konkret dari framework ini. Terdiri dari tiga komponen inti: Orchestrator, Verifier, dan Memory. Arsitektur ini didukung oleh lapisan alat untuk secara fisik mengeksekusi siklus C-A-F.
Modul Memory mendukung fase konteks. Dibangun dengan store vektor, ia mengambil interaksi masa lalu yang relevan dan memperbarui database historis dengan hasil baru. Orchestrator mengelola fase aksi. Ia memproses prompt pengguna bersamaan dengan memori yang diambil untuk memilih model target yang paling mampu dari kumpulan yang tersedia. Verifier mengatur fase umpan balik dengan mengevaluasi keluaran model yang dipilih untuk menghasilkan sinyal keberhasilan atau kegagalan yang jelas.
Lapisan alat menghubungkan Verifier dengan lingkungan eksekusi dunia nyata, seperti interpreter kode Python, sandbox agen, atau mesin database. Lapisan alat ini memungkinkan sistem untuk mengeksekusi kode atau query yang dihasilkan dan mengamati hasil pastinya, memberikan sinyal yang terverifikasi yang diperlukan router untuk belajar.
Orchestrator itu sendiri dirancang ringan. Alih-alih menggunakan model bahasa besar yang berat, para peneliti melatih adapter dengan parameter di bawah satu miliar berdasarkan Qwen 3.5 (0.8B parameter), sehingga bisa di-host sendiri di perangkat pilihan.
ACRouter dalam Aksi: Mengungguli Baseline Frontier
Untuk menguji kekuatan framework ini, para peneliti memperkenalkan CodeRouterBench, sebuah lingkungan evaluasi yang terdiri dari kira-kira 10,000 tugas dengan skor terverifikasi di delapan model frontier, termasuk Claude Opus 4.6, GPT-5.4, Qwen3-Max, dan GLM-5. Evaluasi dibagi menjadi tes dalam distribusi (ID) yang mencakup sembilan dimensi pemrograman tunggal seperti desain algoritma dan generasi tes, serta sebuah laboratorium pemrograman agenik out-of-distribution (OOD). Tugas OOD berbeda secara kualitatif, memerlukan perencanaan multi-langkah, navigasi berkas, dan debugging iteratif untuk melihat apakah router dapat beradaptasi dengan domain baru yang fundamental.
Hasil baseline mengungkapkan mengapa strategi satu model tidak efektif: tidak ada satu model pun yang mendominasi setiap kategori. Misalnya, meskipun Claude Opus 4.6 mencapai performa rata-rata tertinggi, ia kalah dalam desain algoritma dari GLM-5 (peningkatan relatif 86%) dan dalam generasi tes dari Qwen3-Max (peningkatan 111%), meskipun Opus memerlukan biaya sekitar 12 kali lipat dibandingkan model-model kecil seperti Kimi-K2.5.
Dalam pengujian, router statis terus menerus melakukan kesalahan dengan mengirimkan tugas pemrograman khusus ke model yang tidak siap untuk sintaks tersebut. Router statis tidak bisa mengetahui kalau kode tersebut gagal dieksekusi. Sebaliknya, ACRouter menyesuaikan strateginya setelah menerima sinyal umpan balik negatif dari lingkungan eksekusi.
Menurut benchmarking para peneliti, ACRouter berada di posisi optimal pada frontier biaya dan performa. Baik dalam aliran tugas ID maupun tes kompleks OOD, ACRouter mencapai penyesalan kumulatif terendah, sebuah metrik yang mengukur keputusan routing suboptimal dari waktu ke waktu. Pada set tes dalam distribusi, ACRouter menghabiskan biaya $13.21 untuk seluruh pelaksanaan tugas, dibandingkan dengan $34.02 jika selalu mengandalkan Opus—penghematan hingga 2.6 kali lipat.
ACRouter secara dinamis mencocokkan tugas ke model yang paling mampu untuk niche spesifik tersebut, menunjukkan bahwa perusahaan bisa menciptakan atau bahkan melebihi akurasi tingkat frontier di berbagai beban kerja tanpa membayar harga premium untuk setiap query.
Peringatan, Batasan, dan Cara Memulai
Meski paradigma Agent-as-a-Router mengatasi kekurangan informasi, ini bukanlah solusi untuk semua alur kerja AI.
Framework ini sangat efektif untuk tugas yang terverifikasi di mana Verifier memperoleh sinyal keberhasilan atau kegagalan yang jelas dari lingkungan, seperti dalam pemrograman atau pengambilan data. Ini juga efektif untuk aplikasi yang mengalami pergeseran distribusi serta domain di mana model-model berbeda unggul di niche yang sepenuhnya berbeda.
Di sisi lain, setup ini bisa berlebihan untuk tugas-tugas sepele yang dapat diselesaikan oleh model mana pun, atau untuk aplikasi dengan volume rendah yang tidak sebanding dengan biaya rekayasa. Ini juga tidak cocok untuk domain subjektif, seperti penulisan kreatif, di mana jawaban yang benar sulit diverifikasi dan sinyal umpan balik tidak dapat distandarkan.
Para peneliti telah merilis kode sumbernya di GitHub dan model bobot orchestrator di Hugging Face di bawah lisensi Apache 2.0. Router ini kompatibel dengan Claude Code, Codex, dan OpenCode.
