Pada hari Minggu, sebuah tim yang terdiri dari sembilan peneliti di Sina Weibo — raksasa media sosial asal China yang lebih dikenal lewat platform microblogging ketimbang kecerdasan buatan mutakhir — secara diam-diam mengunggah laporan teknis 14 halaman ke arXiv yang mengejutkan komunitas riset AI. Klaim mereka: model bahasa dengan hanya 3 miliar parameter dapat menyamai atau bahkan melampaui kinerja penalaran dari sistem flagship seperti Google DeepMind, OpenAI, Anthropic, dan DeepSeek yang berukuran ratusan kali lebih besar.
- Skor benchmark yang melanggar hukum skala AI modern
- Menelusuri tahap pelatihan empat yang mendukung mesin penalaran kecil
- Pemeriksaan dunia nyata mengungkapkan kesenjangan antara skor benchmark dan kinerja AI praktis
- Mengapa sebuah perusahaan media sosial mungkin telah menemukan celah dalam hipotesis skala
- Model kecil, implikasi besar, dan pertanyaan yang tidak bisa dihindari oleh industri AI
Model ini, bernama VibeThinker-3B, mencetak skor 94.3 pada AIME 2026 — Ujian Matematika Undangan Amerika, salah satu kompetisi matematika standar yang paling menantang di dunia. Angka ini menempatkannya sejajar dengan DeepSeek V3.2, model dengan 671 miliar parameter, dan lebih unggul dari Gemini 3 Pro, sistem penalaran flagship Google yang mencetak 91.7. Dengan teknik skala waktu uji yang disebut Tim sebagai ‘Claim-Level Reliability Assessment’, skor tersebut naik menjadi 97.1, melewati hampir semua sistem di catatan publik.
Dalam beberapa jam setelah publikasi, makalah ini mendapat 62 upvote di feed dokumen harian Hugging Face, repositori model tersebut mengumpulkan 130 likes, dan repositori GitHub pun meraih 685 bintang. Namun, reaksi di media sosial tidak sepenuhnya merayakan. Banyak yang meragukan dengan cukup dalam.
“APA YANG SEDANG TERJADI DI DUNIA AI?” tulis pengguna @orcus108 di X, dalam sebuah unggahan yang menarik lebih dari 161.000 tampilan. “Model dengan 3B parameter baru saja menunjukkan skor benchmark coding setara dengan Claude Opus 4.5… Saya benar-benar tidak tahu apakah ini terobosan atau jika benchmark-nya yang bermasalah.”
Ketegangan ini — antara kemajuan ilmiah yang nyata dan kecurigaan yang berkembang bahwa benchmark AI telah menjadi permainan yang dapat dimanipulasi sampai kehilangan makna — menjadi inti dari kisah VibeThinker-3B. Dan jawabannya sangat penting, tidak hanya untuk kebanggaan akademis, tapi juga untuk pertanyaan multibillion dolar tentang apakah dorongan industri AI untuk terus menciptakan model yang lebih besar adalah satu-satunya jalan menuju kecerdasan.
Skor benchmark yang melanggar hukum skala AI modern
Hasil yang dilaporkan dalam laporan teknis adalah, berdasarkan standar konvensional, luar biasa.
Di sisi matematika, VibeThinker-3B meraih 91.4 pada AIME 2025, 94.3 pada AIME 2026, 89.3 pada HMMT 2025 (Turnamen Matematika Harvard-MIT), 93.8 pada BruMO 2025 (Olimpiade Matematika Universitas Brown), dan 76.4 pada IMO-AnswerBench, yang mencakup 400 soal setara dengan tingkat Olimpiade Matematika Internasional. Dalam coding, model ini mencatat 80.2 Pass@1 pada LiveCodeBench v6, sebuah benchmark yang dirancang untuk menguji pembuatan kode yang dapat dieksekusi, serta meraih tingkat penerimaan 96.1 persen pada kontes LeetCode mingguan dan dua mingguan dari akhir April hingga akhir Mei 2026. Dalam hal mengikuti instruksi, skor yang diperoleh adalah 93.4 pada IFEval.
Untuk memberikan gambaran tentang perbedaan parameter: DeepSeek V3.2 memiliki 671 miliar parameter — sekitar 224 kali ukuran VibeThinker-3B. GLM-5, dari Zhipu AI, memiliki 744 miliar parameter. Kimi K2.5, dari Moonshot AI, melebihi 1 triliun. Sementara 3 miliar parameter VibeThinker-3B dapat dijalankan di laptop konsumen biasa.
Para peneliti membingkai hasil ini bukan sebagai anomali namun sebagai bukti untuk suatu klaim teoretis yang lebih luas. Mereka memperkenalkan apa yang mereka sebut “Parametric Compression-Coverage Hypothesis,” yang berargumen bahwa berbagai jenis kemampuan AI memiliki hubungan yang sangat berbeda terhadap ukuran model. Penalaran yang terverifikasi — jenis yang diuji oleh kompetisi matematika dan tantangan coding, di mana jawaban dapat diperiksa secara definitif — adalah apa yang disebut makalah ini sebagai kemampuan “parameter-dense”: kemampuan yang dapat dikompresi menjadi inti yang padat. Sebaliknya, pengetahuan domain terbuka adalah “parameter-expansive”, yang memerlukan cakupan luas terhadap fakta, konsep, dan kasus pinggiran yang pada dasarnya membutuhkan lebih banyak parameter.
Makalah ini langsung mengakui perbedaan tersebut. Pada GPQA-Diamond, sebuah benchmark pengetahuan sains tingkat pascasarjana, VibeThinker-3B meraih hanya 70.2 — jauh di belakang 91.9 yang dicetak oleh Gemini 3 Pro dan 87.0 yang didapat Claude Opus 4.5. Para penulis menuliskan bahwa kesenjangan ini “konsisten dengan klaim kami, bukan pertentangan: temuan utama bukanlah bahwa model 3B telah sepenuhnya menggantikan model umum yang terdepan, tetapi bahwa model kecil dapat mencapai kinerja tingkat pertama pada banyak tugas penalaran yang dapat diverifikasi.”
Menelusuri tahap pelatihan empat yang mendukung mesin penalaran kecil
VibeThinker-3B tidak dibangun dari nol. Ia dilatih tambahan di atas Qwen2.5-Coder-3B, sebuah model dasar kompak dari tim Qwen Alibaba, melalui apa yang disebut para peneliti AI Weibo sebagai “Spectrum-to-Signal Principle” — sebuah jalur multi-tahap yang pertama kali diperkenalkan dalam pekerjaan mereka sebelumnya VibeThinker-1.5B pada November 2025.
Pelatihan berlangsung dalam empat fase utama. Fase pertama adalah proses fine-tuning terawasi dua tahap yang menggunakan pembelajaran kurikulum: model pertama kali dilatih pada campuran luas data matematika, kode, penalaran STEM, dialog umum, dan mengikuti instruksi, kemudian beralih ke subset yang dipilih dari masalah penalaran yang lebih sulit dan panjang. Dalam tahap kedua, contoh dengan jejak penalaran yang lebih pendek dari 5.000 token dibuang, dan masalah yang bisa diselesaikan oleh VibeThinker-1.5B lebih dari 75 persen waktu disaring, memaksa model untuk fokus pada tantangan yang benar-benar sulit.
Tahap kedua menerapkan pembelajaran penguatan di berbagai domain — matematika, kode, dan STEM — menggunakan algoritma MaxEnt-Guided Policy Optimization, atau MGPO, yang memprioritaskan pelatihan pada masalah di batas kemampuan model saat ini daripada masalah yang sudah bisa diselesaikan dengan mudah atau dianggap mustahil. Menariknya, tim menemukan bahwa strategi yang berhasil pada skala 1.5B — memperluas jendela konteks secara bertahap selama pelatihan RL — justru merugikan kinerja pada 3B. Mereka berhipotesis bahwa titik pemeriksaan awal yang lebih kuat berarti memotong jejak penalaran selama pemanasan bukan lagi menghilangkan noise, tapi mengganggu pola penalaran yang valid. Solusinya adalah melatih dengan satu jendela konteks berukuran 64.000 token sepanjang waktu.
Di dalam fase RL matematika, tim juga memperkenalkan apa yang mereka sebut “Long2Short Math RL”, tahap optimasi sekunder yang mendistribusikan ulang penghargaan untuk mengutamakan solusi benar yang lebih pendek dibanding yang lebih panjang, mengurangi verbosity tanpa mengorbankan akurasi. Teknik ini menggunakan redistribusi penghargaan nol-sum yang menghindari bias terhadap sinyal penghargaan keseluruhan sambil mengarahkan model menuju penalaran yang lebih efisien.
Tahap ketiga mengekstrak jejak penalaran berkualitas tinggi dari titik pemeriksaan yang dilatih dengan RL dan mendistilasi kembali ke dalam model terintegrasi melalui fine-tuning terawasi. Tim menggunakan “learning-potential score” — pada dasarnya adalah kebingungan model siswa pada setiap jejak guru — untuk memprioritaskan jejak yang benar tetapi belum diinternalisasi oleh siswa. Fase terakhir, yang disebut Instruct RL, menerapkan pembelajaran penguatan pada tugas mengikuti instruksi menggunakan kombinasi validator berbasis aturan untuk batasan format dan model penghargaan berbasis rubric untuk penilaian kualitas terbuka.
Francesco Bertolotti, seorang peneliti AI yang awalnya memberi sinyal makalah ini di X, menggambarkan pendekatan tersebut dengan ringkas: “Hasil ini diperoleh terutama melalui penyempurnaan pasca-pelatihan pada Qwen2.5-Coder. Makalah ini tidak memberikan banyak rincian, tetapi tampaknya mereka mendistilasi dari checkpoint RL dan kemudian melanjutkan dengan Instruct RL berbasis akhir.” Unggahan ini mendapatkan lebih dari 161.000 tampilan.
Pemeriksaan dunia nyata mengungkapkan kesenjangan antara skor benchmark dan kinerja AI praktis
Setiap reaksi antusias mendapat keberatan yang sama kuatnya. Komunitas riset AI pada pertengahan 2026 telah sangat skeptis terhadap klaim yang didorong oleh benchmark, dan VibeThinker-3B hadir dalam lingkungan yang siap untuk disangsikan.
“Benchmark ini adalah pengkodean pencocokan pola literal,” tulis @BigMoonKR di X. “Ini tidak ada hubungannya dengan pekerjaan coding yang sebenarnya. Saya tidak mengerti mengapa orang masih tidak mengerti ini.”
“Benchmaxxing,” seru @oflu_bedirhan, menggunakan istilah yang telah menjadi singkatan dalam komunitas AI untuk model-model yang tampaknya dioptimalkan secara spesifik untuk kinerja benchmark mengorbankan kegunaan dunia nyata.
Kritik paling tajam datang dari pengguna yang benar-benar mengunduh dan menguji model tersebut. “Baru saja mencoba full precision,” tulis @politilols. “Model ini bahkan tidak tahu apa itu skrip UV (alat pengembang Python yang paling populer). Saya belum melihat itu di satu LLM pun dalam setidaknya setahun sekarang. Benchmaxxed.” Ketika Bertolotti merespons bahwa model tampaknya lebih fokus pada penalaran matematis ketimbang coding praktis, pengguna itu justru menambahkan: “Mereka menyertakan skor livecodebench. Tidak ada kemungkinan itu mencerminkan model.”
@Itsdotdev mengangkat kritik struktural: “Lihat ke dalam benchmark itu sendiri dan mungkin tidak akan terlalu mengejutkan. Mengapa tidak ada DeepSWE? Mengapa tidak ada benchmark standar yang digunakan penyedia SOTA?” Pengguna @AvenirReym mengajukan pertanyaan yang lebih diagnostik: “Jika model ini bertahan pada benchmark yang dibuat setelah batas data pelatihannya, itu nyata. Jika hanya menang pada set gaya AIME yang telah beredar selama bertahun-tahun, itu kebocoran.”
Para penulis makalah tampaknya telah mengantisipasi keberatan ini. Laporan teknis menyatakan bahwa set pelatihan “telah menjalani dekontaminasi benchmark yang ketat,” termasuk penyaringan berbasis n-gram untuk menghapus “tumpang tindih n-gram dengan set evaluasi.”
Evaluasi kontes LeetCode — yang mencakup kontes dari 25 April hingga 31 Mei 2026, tanggal-tanggal yang setelah batas waktu data pelatihan yang mungkin — adalah pengaman paling kuat terhadap kekhawatiran kontaminasi data. Dalam kontes tersebut, VibeThinker-3B berhasil melewati 123 dari 128 pengiriman percobaan pertama, dengan tingkat keberhasilan 96.1 persen yang melampaui GPT-5.2, Doubao Seed 2.0 Pro, Kimi K2.5, dan Claude Opus 4.6 dalam kondisi evaluasi yang sama.
Meski begitu, laporan pengguna di dunia nyata menunjukkan kesenjangan signifikan antara kinerja benchmark dan kegunaan praktis — fenomena yang telah menjadi hal yang umum di seluruh industri. “Di LM Studio, model ini hanya memberikan respons baik pada pertanyaan pertama, pada pertanyaan berikutnya menjawab kembali pertanyaan pertama,” lapor @luismolinaab.
Mengapa sebuah perusahaan media sosial mungkin telah menemukan celah dalam hipotesis skala
Bahkan kritikus paling tajam pun mengakui bahwa mencapai angka benchmark ini dengan 3 miliar parameter — terlepas dari seberapa dapat dipindahnya ke penggunaan produksi — adalah pencapaian teknik yang berarti. “Meskipun ini benchmaxxing, melakukannya dengan 3B parameter sangat menarik, menunjukkan seberapa cepat bidang ini berkembang,” tulis @rohityin.
Observasi ini mengarah pada sebuah pertanyaan yang telah menguasai industri AI sejak hipotesis skala muncul: Apakah lebih besar selalu lebih baik? Kebijaksanaan konvensional, yang paling terkenal diungkapkan dalam hukum skala Chinchilla dan diperkuat oleh dominasi komersial model dasar yang terus-menerus lebih besar, berpendapat bahwa lebih banyak parameter dan lebih banyak data pelatihan secara andal menghasilkan kinerja yang lebih baik. Koreli ekonomi sangat mencolok: melatih dan menerapkan model-model terdepan menghabiskan puluhan atau ratusan juta dolar, menciptakan hambatan yang sangat besar untuk memasuki pasar.
VibeThinker-3B menantang konsensus itu — tetapi hanya sebagian. Makalah ini berhati-hati menarik batasan terhadap klaimnya, membedakan antara tugas dengan “sinyal verifikasi yang jelas” dan tugas yang memerlukan pengetahuan faktual yang luas. Parametric Compression-Coverage Hypothesis secara eksplisit berargumen bahwa model kecil tidak dapat menggantikan yang besar secara keseluruhan.
“Signifikansi sejati dari VibeThinker-3B bukan terletak pada buktinya bahwa model 3B dapat menggantikan model generalis skala besar,” kata makalah tersebut, “melainkan memberikan sinyal empiris konkret: pengembangan model kompak tidak lagi sekadar kompromi pasif untuk efisiensi penerapan atau kontrol biaya; ia muncul sebagai jalur penelitian yang menjanjikan yang secara fundamental komplementer dengan paradigma skala parameter tradisional.”
Mungkin elemen paling mengejutkan dari karya ini adalah asal-usulnya. Sina Weibo — yang terdaftar di Nasdaq dan Hong Kong, dengan kapitalisasi pasar yang berfluktuasi di angka miliaran — bukanlah perusahaan yang biasanya diasosiasikan dengan riset AI terdepan. Namun, seri VibeThinker adalah kontribusi AI open-source besar kedua Weibo dalam waktu tujuh bulan.
VibeThinker-1.5B, yang dirilis pada November 2025, menunjukkan bahwa model dengan hanya 1.5 miliar parameter dapat mengungguli DeepSeek R1 asli pada beberapa benchmark matematika — hasil yang dicapai tim dengan biaya pasca-pelatihan yang mereka klaim hanya $7,800, dibandingkan dengan estimasi $294,000 untuk DeepSeek R1.
Tim riset ini terdiri dari sembilan penulis, semua terdaftar sebagai karyawan Sina Weibo Inc. Model ini dirilis di bawah MIT License, salah satu lisensi open-source yang paling permisif, dan bobotnya dapat diunduh secara gratis dari Hugging Face dan ModelScope. Dalam satu hari setelah rilisnya, anggota komunitas telah membuat kuantisasi GGUF dan model-model turunan.
Model kecil, implikasi besar, dan pertanyaan yang tidak bisa dihindari oleh industri AI
Penilaian paling jujur tentang VibeThinker-3B mungkin adalah bahwa ia sekaligus kurang dan lebih dari apa yang disarankan oleh benchmark. Kurang, karena model yang kesulitan dengan pengetahuan dasar alat pengembang populer tidak mungkin menggantikan asisten coding kelas produksi dalam waktu dekat. Lebih, karena wawasan di baliknya — bahwa kemampuan penalaran dan pengetahuan faktual sebagian dapat dipisahkan, dan bahwa yang pertama dapat dikompresi jauh lebih agresif daripada yang sebelumnya diperkirakan — memiliki implikasi mendalam tentang bagaimana industri berpikir tentang desain model, ekonomi penerapan, dan aksesibilitas kemampuan AI canggih.
Jika Parametric Compression-Coverage Hypothesis terbukti benar, ini menunjukkan masa depan di mana mesin penalaran kecil yang terfokus beroperasi berdampingan dengan model besar yang kaya pengetahuan dalam arsitektur hybrid — sebuah visi di mana model dengan 3 miliar parameter menangani tugas logis sementara sistem yang lebih besar menyediakan penguatan faktual. Arsitektur semacam itu dapat secara dramatis mengurangi biaya penerapan kemampuan penalaran AI, berpotensi membawa kinerja matematika dan coding setara kompetisi ke perangkat dengan perangkat keras yang modis.
“Bagian yang menarik adalah bahwa kita mulai memisahkan pengetahuan dari penalaran,” tulis @RealLambdaFlux di X. “Model kecil dengan pasca-pelatihan yang kuat dapat melampaui ukuran mereka pada tugas-tugas dengan umpan balik yang jelas.”
@cmitsakis menyarankan akhir praktisnya: “Saya pikir model kecil adalah masa depan untuk agen karena mereka dapat menggunakan alat untuk mendapatkan pengetahuan dan mereka dapat berjalan cepat dan murah.”
Apakah masa depan itu akan datang melalui VibeThinker-3B secara spesifik, atau melalui puluhan tim yang sekarang berlomba untuk mereproduksi dan memperluas hasil-hasil ini, makalah ini sudah mencapai sesuatu yang tidak bisa sepenuhnya ditangkap oleh skor benchmark.
Ia telah memaksa komunitas AI untuk menghadapi kemungkinan yang tidak nyaman: bahwa selama bertahun-tahun, industri mungkin telah menghabiskan miliaran dolar untuk meningkatkan parameter demi jenis kecerdasan yang sebenarnya bisa muat, sejak awal, di sebuah laptop. Bobotnya publik. Kodenya terbuka. Dan ujian terpenting bukanlah di papan peringkat mana pun — tetapi apakah ada yang dapat membuat model sekecil ini benar-benar berguna dalam dunia nyata.
