Jika Anda meminta agen coding AI untuk membuat skrip Python yang dapat mengurai satu file JSON, besar kemungkinan Anda akan menerima jawaban yang sempurna dalam hitungan detik. Namun, ketika meminta agen yang sama untuk membangun saluran pemrosesan data sistematis, seperti memproses ribuan dokumen berantakan, membagi teks, menilai kualitas, dan menyaring noise untuk sistem Retrieval-Augmented Generation (RAG) yang sesuai dengan tumpukan perusahaan Anda, sering kali hasilnya tidak memuaskan.
Model bahasa besar (LLM) memang jago dalam menghasilkan kode satu kali, tetapi keluaran mereka untuk tugas pemrosesan data yang kompleks sering kali berupa skrip yang tidak terstruktur dan sekali pakai. Skrip-skrip ini terpisah dari abstraksi alur kerja yang dikelola yang jadi andalan tim MLOps untuk produksi, sehingga sulit untuk diaudit atau diedit secara visual.
Untuk mengatasi tantangan ini, para peneliti dari Universitas Peking, Zhongguancun Academy, dan Institut Riset Algoritma Lanjutan Shanghai memperkenalkan DataFlow-Harness, kerangka kerja open-source yang membantu agen LLM membangun alur kerja pemrosesan data yang terstruktur dan visual secara bertahap, bukannya menulis kode mentah dari awal.
Dengan kerangka ini, pipa yang dihasilkan jadi lebih mudah dikelola dan dapat diintegrasikan ke dalam arsitektur yang ada, karena artefaknya bersifat persisten dan mudah diedit.
Para peneliti melaporkan bahwa platform ini mencapai tingkat kelulusan 93,3% secara end-to-end pada 12 tugas pengujian teknik data. Dibandingkan dengan kode standar Claude Code, DataFlow-Harness mengurangi biaya API hingga 72,5% dan latensi respons hingga 49,9%, sambil mencapai tingkat keberhasilan hampir sama dengan kode jika diberikan keseluruhan basis kode untuk menulis skrip standar. Ini berarti tim perusahaan bisa mendapatkan kecepatan otomatisasi AI tanpa menumpuk utang teknis yang tidak terkelola, memastikan bahwa saluran tetap aman, teraudit, dan siap untuk produksi.
Kesenjangan “NL2Pipeline”
AI yang berfokus pada data membutuhkan alur kerja untuk tugas seperti generasi data sintetik, augmentasi pengambilan data, dan pelatihan model. Walaupun LLM bisa menerjemahkan bahasa alami menjadi implementasi yang dapat dieksekusi, tingkat akurasi tugas yang tinggi tidaklah cukup untuk penggunaan di produksi.
“Tembok pertama bukanlah menulis Python,” kata Runming He, penulis utama makalah DataFlow-Harness, dalam sebuah wawancara. “Agen pengkodean modern sering kali dapat menghasilkan skrip yang masuk akal dengan cepat. Masalah yang lebih sulit adalah mengaitkan skrip tersebut dengan platform produksi yang hidup: menggunakan operator yang sebenarnya terpasang, mencocokkan skema dataset yang nyata, merujuk pada dataset terdaftar dan layanan model, mempertahankan ketergantungan antara tahapan, dan meninggalkan artefak yang dapat dipahami dan direvisi oleh insinyur lain.”
Agen AI umum sering kali menciptakan ketergantungan yang tidak relevan, bergantung pada operator yang tidak tersedia atau asumsi platform yang ketinggalan zaman. Alih-alih meninggalkan artefak yang bisa dipahami oleh insinyur lain, mereka menghasilkan kode sekali pakai yang sulit diaudit melalui alat pengelolaan alur kerja.
Para peneliti mendefinisikan tantangan ini sebagai “kesenjangan NL2Pipeline”: pemisahan antara keinginan pengguna yang menyatakan kebutuhan alur kerja dalam bahasa alami dan lingkungan produksi yang memerlukan aset pipa yang terstruktur dan persisten.
Dalam eksperimen mereka, para peneliti menunjukkan kesenjangan ini. Misalnya, ketika Claude Code diizinkan untuk menulis skrip standar yang bebas dengan menggunakan konteks basis kode, tingkat keberhasilannya mencapai 94,2%. Namun, saat dibatasi hanya menggunakan blok bangunan spesifik dari platform untuk menciptakan grafik alur kerja asli, tingkat keberhasilannya turun menjadi 83,3%. Temuan inilah yang menjadi inti makalah ini: pipa yang bersifat asli dan dapat dikelola jauh lebih sulit dihasilkan agen dibandingkan kode sekali pakai.
“Menutup kesenjangan ini memerlukan lebih dari sekadar meningkatkan akurasi penghasilan kode: konstruksi harus tetap berakar dalam semantik platform dan menghasilkan artefak yang terintegrasi dengan platform induknya,” tulis para peneliti.
Bagaimana Keempat Komponen Bekerja Bersama
DataFlow-Harness mengubah ruang aksi agen. “Alih-alih meminta agen untuk mengeluarkan kode sembarangan, ia mengambil registri operator langsung dan status pipa saat ini melalui MCP dan menerapkan perubahan bertipe ke DAG yang persisten,” tutur He.
Untuk mencapai ini, platform mengorganisir sintesis alur kerja di sekitar empat komponen: Data Pipeline Backend, lapisan interaksi (DataFlow-WebUI), Lapisan Alat MCP, dan lapisan panduan AI (DataFlow-Skills).
Data Pipeline Backend bertindak sebagai sumber kebenaran yang resmi di antara antarmuka percakapan, visual, dan pemrograman. Ini mewakili pipa sebagai grafik siklus terarah (DAG), peta alur kerja terstruktur yang memuat sumber data, modul pemrosesan yang telah dikonfigurasi sebelumnya (yang disebut periset sebagai “operator”), dan ketergantungan eksekusi. Alih-alih menghasilkan kode acak, agen berinteraksi dengan backend ini melalui “mutasi bertipe,” seperti menambahkan operator atau menghubungkan tepi.
DataFlow-Skills adalah file markdown yang menyuntikkan pengetahuan spesifik domain ke dalam jendela konteks model, memandu pola pemilihan operator, penginderaan skema, dan prosedur perakitan. Alih-alih membiarkan AI menebak cara merakit komponen, keterampilan ini memberikan aturan kecocokan kepada AI, mengajarinya cara mencocokkan format data yang berbeda dengan benar dan menangani struktur data yang kompleks tanpa merusak pipa.
Lapisan Alat MCP memberikan akses kepada AI untuk registri operator dan status alur kerja data saat ini. AI mengusulkan perubahan terstruktur melalui lapisan alat ini. Sistem memvalidasi perubahan untuk memastikan bahwa alur kerja berjalan dalam urutan yang benar dan semua modul yang terhubung berkomunikasi dalam bahasa data yang sama.
DataFlow-WebUI menyediakan dua antarmuka yang memungkinkan manusia dan AI membangun alur kerja bersama. Pengembang dapat menggambarkan kebutuhan alur kerja dalam bahasa alami melalui antarmuka percakapan. Mereka juga dapat mengakses alur kerja sebagai peta grafis di editor DAG visual. Di sini, mereka bisa langsung memeriksa perubahan yang diusulkan oleh AI dan melakukan modifikasi.
“Implementasi saat ini melakukan pemeriksaan statis terhadap metadata platform sebelum menerima perubahan pipa,” ucap He. “Ini termasuk pemeriksaan untuk dataset terdaftar, referensi operator dan model, alur lapangan, dan beberapa penggunaan parameter yang tidak valid, serta validitas struktural. Hasilnya terlihat di editor grafis dan dapat direvisi secara manual atau oleh agen di giliran berikutnya.”
Hasil: Tingkat kelulusan 93,3%, biaya 72,5% lebih rendah
Para peneliti menguji DataFlow-Harness pada benchmark 12 tugas di enam skenario pemrosesan data industri, seperti generasi QA, tata kelola ulasan, dan normalisasi skema. Mereka menggunakan Claude Opus 4.7 sebagai model tulang punggung dalam eksperimen mereka.
Mereka membandingkan DataFlow-Harness dengan tiga baseline:
- CC Vanilla: Baseline pengkodean tanpa batasan yang menggunakan kode standar Claude.
- CC Sadar Konteks: Agen yang memiliki akses ke basis kode DataFlow dalam jendela konteksnya.
- Hanya MCP: Agen yang memiliki akses ke alat MCP DataFlow dan diberi instruksi untuk menghasilkan DAG asli platform (tanpa akses ke DataFlow-Skills).
DataFlow-Harness mencapai tingkat kelulusan 93,3% secara end-to-end, meningkat 10,0 persen dibandingkan Hanya MCP dan mengalahkan CC Vanilla (91,7%), serta berada dalam 0,9 persen dari CC Sadar Konteks (94,2%).
Yang lebih penting, biaya API menurun menjadi $0,261 per tugas, penurunan 72,5% dibandingkan CC Vanilla dan 42,8% dibandingkan CC Sadar Konteks. Dalam menghasilkan alur kerja, DataFlow-Harness 49,9% lebih cepat daripada CC Vanilla dan 17,6% lebih cepat dari CC Sadar Konteks.
DataFlow-Harness terbukti sangat efektif untuk tugas-tugas kompleks yang bergantung pada pengetahuan domain yang tersirat, seperti generasi QA. Pendekatan baseline Hanya MCP sering kali menghasilkan DAG yang secara struktural valid tetapi kesulitan untuk menginferensi prosedur spesifik tugas dari deskripsi operator saja.
Untuk menunjukkan bagaimana ini bekerja dalam dunia nyata, para peneliti merinci tugas ekstraksi dari buku teks ke VQA. Tugas ini meminta AI untuk menyatukan kemampuan seperti penguraian PDF, pemulihan tata letak, OCR, ekstraksi gambar, pemahaman multimodal, dan pencocokan pertanyaan-jawaban jangka panjang. DataFlow-Harness mencapai presisi 97,2% dan tingkat cakupan 87,3%, dengan mudah mengalahkan baseline. Dengan menyusun aset platform yang ada daripada menulis tugas kompleks dari awal, AI berhasil mendapatkan lebih banyak pasangan QA yang sah dari dokumen.
Eksperimen mereka juga menunjukkan bahwa DataFlow-Harness sangat efektif dalam membuat pipa generasi data. Misalnya, dalam tugas generasi data instruksi sintetik, agen membangun pipa multi tahap yang menghasilkan pasangan instruksi-respons kandidat, mengkritik dan menulis ulang, menilainya dengan juri berbasis LLM, dan menyaring keluaran berkualitas rendah sebelum dilatih.
“Alur kerja semacam itu mahal untuk dibangun dan rentan untuk dipelihara sebagai kumpulan skrip ad hoc,” kata He. “Harness tidak otomatis membuat alur kerja ini aman, tetapi mengubahnya menjadi tahap eksplisit yang dapat diedit yang bisa diawasi, diuji, dan dikelola oleh insinyur menggunakan kontrol produksi yang normal.”
Demikian pula, ketika ditugaskan untuk membangun pipa pembersihan dan sintesis data matematika, data yang dihasilkan oleh pipa DataFlow-Harness melatih model yang berkinerja lebih baik dengan akurasi rata-rata yang lebih tinggi pada benchmark AIME24 dan AIME25 dibandingkan dengan data yang dihasilkan oleh pipa kode Claude biasa.
Penyesuaian tumpukan teknologi dan trade-off implementasi
Untuk tim teknik yang mempertimbangkan DataFlow-Harness, penting untuk memahami bagaimana ia cocok dengan infrastruktur yang ada. Diluncurkan di bawah lisensi Apache 2.0, implementasi saat ini memerlukan sedikit rekayasa untuk terintegrasi ke dalam tumpukan teknologi populer.
“Implementasi saat ini bersifat asli untuk platform DataFlow; ini bukan plug-in Airflow, Prefect, atau Spark yang siap pakai,” kata He. Untuk menggunakan sistem tersebut sebagai backbone eksekusi, tim harus membangun adaptor untuk menghubungkan registri organisasi mereka, metadata, dan antarmuka eksekusi ke lapisan kontrol agen.
Lebih jauh lagi, organisasi harus berinvestasi dalam batasan yang ingin mereka patuhi. Ini memerlukan pemeliharaan registri operator, mendefinisikan skema, dan mengkodekan prosedur domain yang berulang sebagai Keterampilan. Karena overhead ini, He merekomendasikan untuk tidak menggunakan kerangka ini untuk transformasi kecil sekali pakai di mana skrip sederhana sudah mencukupi, atau di lingkungan legacy yang tidak dapat mengekspose metadata yang dapat diandalkan.
Terakhir, meskipun platform mencegah koneksi yang tidak logis dengan memvalidasi sifat struktural, ini adalah lapisan kontrol teknik, bukan pengganti kepatuhan. “Harness tetap harus diperlakukan sebagai lapisan kontrol teknik, bukan sebagai pengganti untuk kebijakan kepatuhan, model deteksi terverifikasi, kontrol akses, pencatatan audit, atau persetujuan manusia,” tegas He.
Platform ini bersifat open-source, dan pengembang bisa mengakses kode sumber serta dokumentasi basis kode langsung melalui repositori GitHub proyek.
Seiring protokol seperti MCP menjadi standar, batasan antara insinyur manusia dan agen AI akan bergeser. “Tujuannya bukanlah teknik data otonom tanpa pengawasan,” kata He. “Ini adalah pembagian kerja yang lebih baik: agen melakukan konstruksi berulang di dalam batas yang jelas, sementara insinyur tetap bertanggung jawab atas semantik, kebijakan, dan keputusan konsekuensial yang memerlukan akuntabilitas domain.”
