Michael Kratsios, penasihat ilmiah Gedung Putih, mengatakan bahwa Moonshot, perusahaan asal China yang mengembangkan Kimi K3, LLM open-weight terbesar yang tersedia, membangun modelnya dengan cara menyalin LLM Fable milik Anthropic, sambil menggunakan chip yang tidak diizinkan untuk ekspor ke China.
“Distilasi industri skala besar yang diam-diam berusaha mencuri teknologi AS yang bersifat kepemilikan dan merusak riset Amerika tidak dapat diterima,” tulis Kratsios, sementara isu tentang pelarangan model open-weight asal China semakin gaduh di sektor AI. Moonshot tidak memberikan tanggapan terkait proses pelatihannya, dan Kratsios pun tidak merinci lebih lanjut tentang sumber tuduhannya.
Tweet Kratsios sejalan dengan pernyataan dari Menteri Keuangan Scott Bessent yang menyebutkan bahwa “kami menemukan watermark dari LLM besar AS di banyak model asal China, dan itu tidak dapat diterima.” Namun, tidak jelas watermark tersebut terdiri dari apa, dan Departemen Keuangan tidak memberikan tanggapan atas pertanyaan mengenai hal ini.
Meski begitu, para ahli skeptis bahwa distilasi—proses menanyakan LLM untuk menentukan cara kerjanya dan menyalin kemampuannya—adalah penyebab dari kemampuan canggih yang ditampilkan Kimi K3.
“Saya tidak berpikir model sekuat ini bisa ada dengan cepat hanya dengan distilasi dari Fable,” ungkap Braden Hancock, peneliti dari Laude Institute dan salah satu pendiri Snorkel AI. “Tidak ada waktu yang cukup, kan? Fable baru tersedia secara publik sejak 1 Juli. Tidak mungkin mengolah banyak data, melatih model, dan merilisnya dalam dua minggu.”
“Saya berpendapat bahwa distilasi semakin kurang berpengaruh seiring dengan semakin dekatnya model-model China ke tren terbaru dan perubahan metode pelatihan ke [reinforcement learning],” tambah Nathan Lambert, peneliti AI di Allen Institute for AI, dalam podcast kemarin. “[Jika] itu benar, semua orang seharusnya bisa dengan mudah mengejar GLM atau K3 dengan menggunakan data untuk distilasi. Tapi kita belum melihat itu, atau kemungkinan besar tidak akan melihatnya hanya dari fine-tuning yang terawasi.”
Melakukan distilasi memerlukan laboratorium untuk secara sistematis menanyakan model target agar menghasilkan data yang bisa digunakan untuk pelatihan pasca. Terkadang ini melibatkan meminta model untuk menjelaskan alur pikirannya untuk memahami bagaimana ia memecahkan masalah. Di lain waktu, prompt dan respons dari model digunakan untuk melatih model baru dalam proses yang disebut supervised fine-tuning, atau SFT.
Proses fine-tuning inilah yang dapat menghasilkan model yang seolah-olah dibuat oleh pihak ketiga yang meng klaim itu adalah Claude. Dalam pandangan Lambert, di sinilah “model belajar etika.”
Namun, Lambert mengatakan bahwa keuntungan SFT semakin kurang penting seiring dengan kompleksitas model yang meningkat. Untuk menyusutkan kemampuan seperti Fable kemungkinan besar memerlukan teknik reinforcement learning. Dalam banyak kasus, itu berarti ada agen dari model yang lebih besar yang memberikan nilai pada respons model yang lebih kecil, dan melakukan penyesuaian berdasarkan nilai tersebut.
Teknik yang lebih maju tersebut juga memerlukan infrastruktur yang lebih signifikan. Proses reinforcement learning yang besar bisa memerlukan puluhan juta agen. Menggunakan API dari laboratorium perbatasan untuk itu “akan sangat mahal dan mungkin menjadi hambatan waktu karena model-model ini cukup lambat dan sejujurnya mungkin tidak memberi peningkatan kinerja.”
Sepertinya model-model perbatasan sebelumnya mungkin telah berkontribusi pada Kimi; Anthropic secara terbuka menuduh Moonshot, DeepSeek, dan MiniMax melakukan distilasi modelnya secara sistematis awal tahun ini. Anthropic mengungkapkan bahwa mereka menemukan jutaan interaksi antara modelnya dan pengguna yang teridentifikasi di perusahaan-perusahaan tersebut melalui alamat IP dan metadata lainnya. Kuota ini “berbeda dari pola penggunaan normal, mencerminkan pengambilan kapasitas yang disengaja daripada penggunaan yang sah.” Anthropic tidak merespon pertanyaan mengenai distilasi Fable dari TechCrunch.
Namun, distilasi dianggap umum di kalangan perusahaan AI, tidak hanya di China. Elon Musk bersaksi lebih awal tahun ini bahwa perusahaannya, SpaceXAI, melakukan distilasi model OpenAI untuk mengembangkan Grok, dan bahwa praktik ini umum di industri. Batas antara distilasi dan pengembangan dataset sintetis, misalnya, bisa cukup kabur.
“Secara umum, orang Amerika meremehkan kemampuan teknis tim-tim China ini,” ungkap Hancock. “Salah satu pendiri Moonshot adalah mahasiswa PhD dari CMU. Mereka adalah peneliti dan insinyur yang sah yang melakukan pekerjaan yang solid. … jika model-model Amerika terhenti, saya rasa kemajuan China akan melambat, tetapi tetap akan berlanjut. Mereka tidak hanya mengandalkan yang sudah ada.”
Adalah sulit juga untuk memisahkan distilasi dari bagian kedua komentar Kratsios—bahwa Moonshot telah memperoleh chip Nvidia canggih, Grace Blackwell 300s, dan juga akses ke server berperalatan GB300 di Thailand. Chip tersebut dilarang untuk diekspor ke China, tetapi pasar gelap untuk itu ada, menurut Sam Bresnick, rekan peneliti di Georgetown’s Center for Security and Emerging Technology. Pada bulan Mei, pendiri Supermicro, sebuah pembangun server AS, didakwa karena menyelundupkan chip canggih ke China.
“Saya adalah pendukung undang-undang know your customer untuk pusat data di seluruh dunia,” kata Bresnick. “Jika Anda mengizinkan sebuah perusahaan melakukan pelatihan besar pada perangkat keras mutakhir Anda, harus ada mekanisme pelaporan untuk siapa perusahaan itu dan apa yang mereka lakukan.”
Kementerian Perdagangan Joe Biden telah mengusulkan aturan federal know-your-customer untuk pusat data pada tahun 2024, tetapi tidak ada kemajuan lebih lanjut yang tampak setelah masa Trump. Namun, eksportir yang mengirimkan chip canggih ke luar negeri seharusnya memastikan bahwa chip tersebut hanya digunakan untuk tujuan yang disetujui.
