Ketika sebuah sistem AI yang memiliki kemampuan membawa tugas dari model kecil ke model yang lebih besar — atau sebaliknya — mereka menghadapi “biaya” yang cukup besar. Model yang menerima harus menghitung ulang seluruh percakapan dari awal, yang jelas menaikkan biaya perhitungan dan latensi. Ini menjadi penghambat besar bagi perusahaan yang ingin membangun alur kerja multi-LLM dalam jangka panjang.
Untuk mengatasi tantangan ini, para peneliti di Nvidia memperkenalkan teknik transfer cache KV antar model yang secara langsung memetakan cache KV yang telah diisi sebelumnya dari model sumber ke model target. Teknik ini sangat sesuai dengan aplikasi agentic di dunia nyata di mana konteks besar terakumulasi dari banyak interaksi.
Dalam aplikasi AI dunia nyata, transfer cache KV antar model dapat mengurangi biaya perhitungan dan latensi pada alur kerja multi-LLM yang berjalan lama — dan semuanya dilakukan dengan matematika linear sederhana, bukan model pembelajaran mendalam yang mahal.
Eksperimen menunjukkan bahwa pada pasangan model yang kompatibel, proses pemetaan linear ini berjalan 2,7 hingga 25 kali lebih cepat daripada menghitung ulang percakapan, sambil mempertahankan hingga 98% akurasi model target secara mandiri.
Kenapa mengganti model di tengah sesi sangat mahal
Menggali cara LLM menangani memori membantu kita memahami mengapa alur kerja multi-model mengalami batasan kinerja dalam produksi. Ketika LLM menerima sebuah prompt, mereka harus terlebih dahulu menjalani tahap “prefill”, yang merupakan langkah awal untuk menghitung kunci dan nilai dari semua token input dan mengisi cache Key-Value (KV).
Setelah itu, mereka masuk ke fase “decode”, di mana model menghitung dan menghasilkan token selanjutnya dalam urutan. Selama fase ini, model membaca dari cache KV untuk memprediksi token baru satu per satu, tanpa perlu mengevaluasi ulang seluruh riwayat percakapan untuk setiap token baru.
Dalam percakapan multi-putaran atau sesi agentic yang panjang, konteks secara bertahap menjadi lebih panjang. Karena biaya komputasi dari tahap prefill secara langsung seiring dengan ukuran model dan panjang input, memproses sesi panjang ini menjadi semakin mahal dan memperkenalkan latensi yang signifikan jika cache KV dibatalkan.
Pembatalan ini terjadi setiap kali AI sistem mencoba mengganti model di tengah sesi, seperti mengarahkan langkah penalaran yang kompleks ke model yang lebih besar atau kembali ke model yang lebih kecil untuk menghemat biaya. Mengingat bahwa LLM yang berbeda memiliki arsitektur yang berbeda, mereka mengharapkan input cache dalam format yang berbeda.
Sebagai hasilnya, setiap pergantian model memaksa model penerima untuk membayar seluruh biaya prefill dari awal untuk menghitung ulang cache KV untuk konteks yang terakumulasi.
Menyusun memori antar model tanpa memulai dari awal
Para peneliti Nvidia mempelajari transfer cache KV antar model untuk melihat bagaimana pengembang dapat mengubah cache KV dari satu model menjadi format yang diharapkan oleh model lain tanpa menjalankan kembali fase prefill.
Jika berhasil, transfer cache KV antar model membawa manfaat di kedua arah. Transfer dari model kecil ke besar meningkatkan kualitas output. Contohnya, model kecil yang murah menangani bagian rutinitas dari alur kerja agentic tetapi kesulitan dengan masalah penalaran yang kompleks, dan kita memetakan cache KV ke model yang lebih besar untuk melanjutkan proses tersebut dengan mulus.
Sebaliknya, transfer dari model besar ke kecil dapat mengurangi biaya perhitungan. Model besar yang sangat mampu mungkin digunakan untuk membongkar prompt sistem yang sangat besar dan kompleks atau mensintesis PDF padat di awal sesi. Setelah pekerjaan berat selesai, cache KV sesi dipetakan ke model kecil yang lebih hemat untuk menangani percakapan cepat yang mengikuti.
Terdapat beberapa upaya sebelumnya untuk menyelesaikan masalah transfer cache KV, tetapi mengalami beberapa keterbatasan kunci. Ini termasuk kebutuhan untuk pelatihan berbasis gradien yang mahal atau pembatasan arsitektur yang sangat ketat.
Menguji pemetaan linear
Untuk menguji apakah teknik ini berhasil, para peneliti mengevaluasi pipeline transfer di enam keluarga model “matched-KV”. Matched-KV berarti model sumber dan target memiliki jumlah kepala KV dan dimensi per kepala yang sama, yang umum untuk model dengan ukuran berbeda dalam keluarga yang sama.
Keluarga model termasuk Qwen3, Llama 3.1, dan Ministral 3, dengan pengujian untuk transfer cache KV antara ukuran yang bervariasi mulai dari 3 miliar hingga 70 miliar parameter. Eksperimen mereka juga mencakup lompatan parameter yang sangat besar dari Llama 3.1 8B ke 70B.
Untuk mencakup berbagai tugas, mereka mengevaluasi model pada lima tolok ukur akurasi inti (ARC-Challenge, HellaSwag, WinoGrande, MMLU, dan GSM8K) serta model bahasa yang lebih kompleks pada WikiText-2 dan tugas percakapan multi-putaran yang disebut CoQA. Untuk menyelaraskan pemetaan translasi linear, mereka menggunakan dataset kalibrasi kecil berisi hanya 500 urutan teks dengan 1.024 token masing-masing.
Para peneliti membandingkan kerangka kerja mereka dengan akurasi langit-langit dasar di mana model target menjalani prefill tradisional penuh. Mereka juga membandingkan sistem lengkap mereka dengan konfigurasi ablated, seperti mengurangi jumlah lapisan yang dipilih atau menonaktifkan komponen yang berbeda. Selain itu, mereka membandingkan metode sederhana mereka dengan jaringan saraf dalam yang dilatih menggunakan backpropagation untuk melihat apakah metode dalam yang lebih berat dapat memulihkan akurasi pada pasangan di mana metode linear mengalami kesulitan.
Dari enam pasangan yang diuji, pemetaan ridge linear yang cepat dan tertutup mempertahankan 73% hingga 98% akurasi prefill berdiri sendiri dari target — termasuk lompatan besar dari Llama 3.1 8B ke 70B, yang mempertahankan 72,8% akurasi target.
Pemetaan ini juga berjalan antara 2,7 hingga 25 kali lebih cepat dibanding prefill ulang. Misalnya, ketika mentransfer cache KV yang berisi 32.768 token dari model Qwen3 14B ke model 32B, transfer hanya memerlukan 278 milidetik, dibandingkan dengan hampir 7 detik untuk prefill ulang standar.
Sistem ini juga menunjukkan stabilitas tinggi pada tugas yang berlangsung dalam banyak langkah. Ketika diuji dalam percakapan multi-putaran, drift atau kehilangan akurasi antara baseline target dan cache yang ditransfer tetap sangat kecil sepanjang 10 putaran, membuktikan bahwa itu tidak akan merosot menjadi kegagalan selama sesi agentic yang panjang.
Namun, pendekatan linear yang sederhana menghadapi batasan pada pasangan model tertentu. Untuk dua konfigurasi dari Ministral, pemetaan linear menurun tajam karena penyesuaian linear sederhana gagal untuk berekstrapolasi di luar data kalibrasi. Untuk memperbaikinya, para peneliti mengganti pemetaan linear dengan perceptron multi-lapisan non-linear (MLP) dengan dua lapisan tersembunyi yang memiliki 1.024 unit yang dilatih pada data yang sama. Ini menambahkan kompleksitas dan biaya pelatihan pada setup, tetapi memulihkan akurasi mereka di atas 90%.
Masalah industri yang lebih besar dari satu makalah dapat selesaikan
Pengenalan transfer antar model adalah bagian dari dorongan industri yang lebih luas untuk menyelesaikan hambatan cache KV, yang muncul sebagai salah satu kendala kunci untuk skala AI enterprise. Ketika pengembang mendorong LLM untuk memproses dokumen atau basis kode yang besar dan menjalankan tugas penalaran jangka panjang, pengelolaan lapisan memori ini semakin penting.
Selama setahun terakhir, para peneliti telah menyerang masalah komputasi dan memori ini dari berbagai sudut. Misalnya, Nvidia baru-baru ini memperkenalkan sparsifikasi memori dinamis (DMS), teknik yang secara cerdas mengeluarkan token yang kurang penting dari cache KV untuk mengurangi biaya penalaran hingga 8 kali lipat.
Pendekatan lain fokus pada kompresi data yang agresif. Para peneliti MIT mengembangkan teknik kompak aljabar yang disebut Attention Matching yang mengompresi cache KV hingga 50 kali lipat tanpa mengurangi kualitas. Serupa, Nvidia memperkenalkan KV Cache Transform Coding (KVTC), yang meminjam konsep kompresi media untuk menyusutkan memori hingga 20 kali lipat tanpa mengubah bobot model dasar.
Di luar kompresi, para peneliti juga menyerang overhead komputasi dari pengambilan memori. Optimizer seperti IndexCache menghilangkan perhitungan lapisan yang berlebihan untuk memberikan waktu yang lebih cepat dalam aplikasi konteks panjang. Dan model seperti DeepSeek dan seri GLM mengoptimalkan cache KV melalui inovasi arsitektur.
Seiring sistem AI mengambil alih tugas yang lebih lama dan arsitektur yang lebih kompleks, infrastruktur memori yang mendasari menjadi sama pentingnya dengan model itu sendiri. Transfer cache KV antar model memberikan pengembang alat tambahan untuk menjaga biaya inferensi tetap rendah saat mereka meningkatkan sistem agentic multi-model.
