Seiring sistem AI perusahaan berkembang untuk menangani alur kerja yang kompleks, para praktisi menghadapi tantangan dalam mengarahkan subtugas ke alat dan keterampilan yang tepat. Agen AI dapat memiliki ratusan alat dan keterampilan, sehingga terkadang bingung mana yang harus digunakan untuk setiap tahap alur kerja.
Untuk mengatasi tantangan ini, para peneliti di Alibaba mengembangkan SkillWeaver, sebuah kerangka kerja yang menciptakan grafik eksekusi untuk tugas tertentu dan memilih keterampilan yang tepat untuk setiap nodenya. Mereka juga memperkenalkan Skill-Aware Decomposition (SAD), teknik baru yang menggunakan umpan balik untuk memungkinkan agen mengambil dan memverifikasi kandidat alat terkait secara iteratif. Pendekatan komposisional dan mekanisme umpan balik ini menjadikan SkillWeaver berbeda dari kerangka kerja pengalihan alat lainnya, yang memilih alat dalam satu langkah.
SkillWeaver juga berhubungan dengan aplikasi AI di dunia nyata di mana agen secara otomatis mengatur ekosistem multi-alat, seperti Model Context Protocol (MCP), untuk melaksanakan operasi bisnis multi-tahap seperti mengunduh dataset, mengubah informasi, dan membuat laporan visual.
Dari eksperimen para peneliti dengan SkillWeaver, menunjukkan bahwa pendekatan pengambilan dan penunjukan ini secara signifikan meningkatkan akurasi sambil mengurangi konsumsi token lebih dari 99% dibandingkan jika agen secara langsung mengakses seluruh perpustakaan alat.
Bagi para praktisi yang membangun agen AI, inti dari temuan ini adalah bahwa tingkat granularity dalam pemecahan tugas adalah hambatan terbesar untuk pengambilan alat yang akurat.
Tantangan Pengarahan Keterampilan
Keterampilan adalah pola kunci dalam arsitektur agen LLM modern. Keterampilan ini merupakan spesifikasi alat modular yang dapat digunakan kembali dengan dokumentasi bahasa alami yang terstruktur.
Ketika agen perusahaan terintegrasi dengan ekosistem alat besar, mengarahkan permintaan pengguna ke keterampilan yang tepat menjadi tugas yang sulit. Mengizinkan seluruh perpustakaan untuk diekspos ke LLM demi mencari alat yang tepat sangat tidak efisien, cepat melebihi batasan konteks, dan menghabiskan ratusan ribu token.
Sebagian besar kerangka kerja penggunaan alat saat ini mencoba mengatasi masalah ini melalui pengambilan API, pencocokan dokumentasi, atau struktur hierarkis yang menganggap pengarahan sebagai masalah pemilihan satu keterampilan per langkah. Namun, paradigma satu keterampilan tidak cukup untuk lingkungan perusahaan karena permintaan dunia nyata cenderung komposisional. Permintaan bisnis standar seperti “Unduh dataset, ubah, dan buat laporan visual” tidak dapat dipenuhi dengan satu alat. Ini memerlukan pemecahan permintaan dan urutan klien API, pemroses data, dan alat visualisasi ke dalam rencana eksekusi multi-tahap yang kohesif.
Bagaimana SkillWeaver dan SAD Bekerja
Untuk mengatasi masalah ini, para peneliti membingkai tantangan menangani tugas kompleks yang memerlukan beberapa keterampilan sebagai “pengarahan keterampilan komposisional.” Dengan diberikan promp pengguna yang kompleks dan perpustakaan alat yang luas, agen harus secara bersamaan menentukan cara memecah permintaan menjadi urutan subtugas atom dan memetakan setiap subtugas ke keterampilan terbaik yang tersedia.
SkillWeaver mengatur proses ini melalui tiga tahap yang berbeda: Decompose, Retrieve, dan Compose. Di tahap pertama, LLM bertindak sebagai pemecah tugas, memecah permintaan kompleks pengguna menjadi urutan subtugas yang masing-masing memerlukan satu keterampilan. Setelah subtugas didefinisikan dengan jelas, sistem menggunakan model embedding untuk membandingkan setiap subtugas dengan perpustakaan keterampilan dan menarik daftar singkat alat kandidat terbaik untuk setiap langkah.
Di tahap akhir, seorang perencana mengevaluasi kandidat yang diambil berdasarkan seberapa baik mereka bekerja sama. Ia memeriksa keberlanjutan antar keterampilan untuk memastikan keluaran dari satu alat dapat mengalir ke input alat berikutnya. Kemudian, ia menciptakan rencana eksekusi akhir dalam bentuk Directed Acyclic Graph (DAG) yang memetakan ketergantungan agar tugas independen dapat dieksekusi secara paralel.
Misalnya, bayangkan seorang pengguna meminta agen AI untuk “Mengunduh dataset, mengubahnya, dan membuat laporan visual.” Di tahap decompose, LLM pemecah ini memecah permintaan menjadi tiga subtugas: mengunduh dataset, mengubah data, dan membuat laporan.
Di tahap retrieve, sistem mencari di perpustakaan dan menemukan kandidat seperti “api-client†atau “http-fetch†untuk tugas pertama, “csv-parser†atau “etl-pipeline†untuk tugas kedua, dan seterusnya. Akhirnya, di tahap compose, mengevaluasi opsi-opsi ini, memilih kombinasi spesifik dari “api-client,†“csv-parser,†dan “chart-gen†yang paling kompatibel, dan menyambungkannya menjadi alur kerja siap eksekusi.
Tantangan utama dari pipeline ini adalah bahwa LLM sering menghasilkan deskripsi langkah generik yang gagal mencocokkan kosakata teknis spesifik dari keterampilan yang tersedia di perpustakaan. Untuk mengatasi ini, SkillWeaver memperkenalkan Iterative Skill-Aware Decomposition (SAD), yang berfungsi melalui umpan balik. SAD membuat LLM merancang rencana awal, melakukan pencarian awal untuk menemukan keterampilan yang sesuai, dan kemudian mengembalikan keterampilan tersebut ke dalam LLM sebagai petunjuk. Ini memungkinkan LLM merevisi pemecahannya agar cocok dengan alat yang ada.
SkillWeaver Dalam Tindakan
Untuk mengevaluasi kinerja SkillWeaver dalam skenario perusahaan yang realistis, para peneliti membuat tolok ukur khusus bernama CompSkillBench. Ini terdiri dari 300 permintaan multi-tahap dengan berbagai tingkat kesulitan. Untuk mencerminkan lingkungan dunia nyata, mereka menggunakan perpustakaan yang berisi 2,209 keterampilan nyata yang diambil dari ekosistem MCP publik, mencakup 24 kategori fungsional seperti infrastruktur cloud, keuangan, dan basis data.
Untuk mesin inti, para peneliti menggunakan model ringan 7 miliar parameter (Qwen2.5-7B-Instruct) untuk pemecahan tugas, ditambah pencari semantik standar (MiniLM dengan indeks FAISS) untuk menemukan alat. SkillWeaver dievaluasi terhadap tiga setup utama: metode “LLM-Direct” brute-force di mana mereka memasukkan semua nama alat ke dalam prompt model besar, pemecahan berbasis LLM biasa tanpa SAD, dan loop agen gaya ReAct.
Eksperimen menunjukkan bahwa pemecahan tugas adalah hambatan utama. Perilaku LLM standar tidak memadai ketika berhadapan dengan perpustakaan alat besar, tetapi umpan balik SAD secara dramatis mengubah hasil. Dalam pengaturan biasa, model 7B mencapai akurasi pemecahan hanya 51.0%. Dengan mengaktifkan umpan balik SAD, akurasinya melonjak menjadi 67.7% (dengan model Qwen-Max lebih besar, akurasi mencapai 92%). Pada tugas “sulit” yang memerlukan empat hingga lima keterampilan berbeda, SAD meningkatkan akurasi hingga 50%.
Salah satu temuan menarik adalah bahwa model yang lebih besar bisa jadi berkinerja lebih buruk tanpa panduan. Ketika diuji dalam pengaturan biasa, model 14 miliar parameter mengalami penurunan akurasi di bawah model 7B karena cenderung memecah tugas menjadi langkah-langkah yang terlalu rinci dan tidak perlu. Setelah SAD diterapkan, petunjuk alat yang diambil membantu model kembali ke fokus dan meningkatkan akurasinya. Ini menunjukkan bahwa menyelaraskan agen dengan kosakata alat tertentu seringkali lebih berdampak dibandingkan sekedar membeli LLM yang lebih besar dan mahal.
Penghematan token juga menjadi poin penting. Baseline LLM-Direct yang menggunakan model Qwen-Max yang sangat besar menunjukkan bahwa memberi makan semua alat ke dalam prompt dari model besar tidak efektif. Meskipun dapat memecah tugas dengan hampir sempurna, model besar hanya mendapatkan kategori alat yang tepat 21.1% dari waktu ketika dibanjiri dengan banyak opsi alat. Pendekatan pengambilan dan penunjukan yang ditargetkan oleh SkillWeaver secara signifikan meningkatkan akurasinya sambil memangkas konsumsi jendela konteks dari perkiraan 884,000 token menjadi sekitar 1,160 token per permintaan, pengurangan sebesar 99.9%. Bagi praktisi, ini berarti biaya API yang jauh lebih rendah dan waktu respons yang lebih cepat.
Akhirnya, baseline ReAct tradisional gagal total, mencapai 0% akurasi pemecahan. Loop-nya secara alami meruntuhkan rencana multi-tahap menjadi tindakan terpisah daripada secara eksplisit memetakan urutan multi-alat yang kohesif.
Pertimbangan untuk Para Pengembang
Meskipun para peneliti belum merilis kode sumber untuk SkillWeaver, karya mereka dibangun di atas alat yang tersedia dengan mudah dan dapat direproduksi.
Skill-Aware Decomposition (SAD), yang menjadi inovasi kunci di jantung kerangka kerja ini, adalah teknik prompt-engineering dan loop pengambilan yang cerdas. Para penulis telah membagikan template prompt dalam makalah mereka, dan pengembang dapat menerapkannya sendiri dengan cukup mudah menggunakan pustaka orkestra standar seperti LangChain, LlamaIndex, atau bahkan skrip Python mentah.
Untuk komponen pengambilan, para penulis membangun kerangka inti menggunakan all-MiniLM-L6-v2, model embedding sumber terbuka. Mereka menemukan bahwa mengganti dengan encoder yang sedikit lebih kuat (BGE-base-en-v1.5) segera meningkatkan akurasi tanpa perlu penyesuaian lanjut. Meskipun bi-encoder yang siap pakai ini sangat baik dalam mendapatkan alat relevan ke dalam 10 kandidat teratas hampir 70% dari waktu, ia kesulitan untuk secara konsisten menempatkan alat yang sempurna pada urutan pertama, mencapainya hanya sekitar 37% dari waktu. Untuk menjembatani kesenjangan ini, tim mungkin perlu menerapkan cross-encoder sekunder atau reranker berbasis LLM untuk mengurutkan kembali 10 kandidat teratas tersebut.
Salah satu persyaratan persiapan awal adalah memvectorisasi perpustakaan alat dan membangun indeks FAISS sebelumnya. Dalam praktiknya, ini adalah tantangan yang dapat diabaikan. Mengekstrak dan mengindeks semua 2,209 keterampilan dalam tolok ukur hanya memakan waktu 15 detik. Setelah dibuat, pengambilan alat dari indeks menambah latensi kurang dari 15 milidetik per permintaan. Untuk lingkungan perusahaan, penyinkronan indeks alat adalah pekerjaan latar belakang yang sepele.
Saat ini, keterbatasan dalam SkillWeaver adalah kurangnya pemulihan kesalahan. Meskipun SkillWeaver berhasil memetakan DAG yang kompatibel untuk eksekusi, studi awal penulis mengungkapkan tantangan dari rantai alat multi-tahap. Misalnya, jika panggilan API gagal dalam langkah kedua, seluruh rantai akan terputus. Kontribusi inti makalah ini terbatas pada fase perutean dan perencanaan. Untuk penerapan produksi yang sejati, praktisi harus membangun mekanisme pemulihan, fallback, dan mencoba ulang mereka sendiri di atas tahap komposisi untuk menangani waktu henti API atau keluaran yang tidak baik di dunia nyata.
