Karpathy Ungkap Arsitektur ‘LLM Knowledge Base’ yang Lewati RAG dengan Perpustakaan Markdown Dinamis yang Dikelola AI

Para coder AI memiliki satu lagi alasan untuk berterima kasih kepada Andrej Karpathy, sang pencetus istilah ini.

Karpathy, mantan Direktur AI di Tesla dan salah satu pendiri OpenAI, saat ini menjalankan proyek AI independennya sendiri. Ia baru saja membagikan pendekatan “LLM Knowledge Bases” melalui X untuk mengelola berbagai topik penelitian yang ia minati.

Dengan membangun catatan yang dipelihara oleh LLM untuk proyek-proyeknya, Karpathy mengatasi masalah utama dalam pengembangan AI yang “stateless”: reset batas konteks yang bikin frustrasi.

Siapa saja yang pernah merasakan vibe coding pasti setuju, mencapai batas penggunaan atau menghentikan sesi rasanya seperti melakukan lobotomi pada proyek. Kita terpaksa menghabiskan banyak token (dan waktu) untuk membangun kembali konteks bagi AI, berharap ia “mengingat” rincian arsitektur yang baru saja kita tentukan.

Karpathy menawarkan sesuatu yang lebih sederhana dan “belepotan” elegan dibandingkan solusi enterprise tipikal berupa database vektor dan jalur RAG.

Dia menggambarkan sebuah sistem di mana LLM berfungsi sebagai “perpustakaan penelitian” penuh waktu—aktif mengompilasi, merapikan, dan menghubungkan file Markdown (.md), format data yang paling ramah untuk LLM.

Dengan mengalihkan sebagian besar “token throughput”-nya untuk manipulasi pengetahuan terstruktur ketimbang kode boilerplate, Karpathy telah mengungkap blueprint untuk fase berikutnya dari “Second Brain”—yang bisa memperbaiki diri sendiri, bisa diaudit, dan sepenuhnya bisa dibaca manusia.

Melampaui RAG

Selama tiga tahun terakhir, paradigma dominan dalam memberi akses data proprietary kepada LLM adalah Retrieval-Augmented Generation (RAG).

Pada pengaturan RAG standar, dokumen dipotong menjadi “bagian-bagian” arbitrer, diubah menjadi vektor matematis (embedding), dan disimpan dalam database khusus.

Ketika seorang pengguna mengajukan pertanyaan, sistem melakukan “pencarian kesamaan” untuk menemukan bagian paling relevan dan memberikannya ke LLM. Pendekatan Karpathy, yang ia sebut LLM Knowledge Bases, menolak kompleksitas database vektor untuk dataset berukuran menengah.

Alih-alih itu, ia mengandalkan kemampuan LLM yang semakin meningkat untuk memberikan alasan atas teks terstruktur.

Arsitektur sistem, sebagaimana divisualisasikan oleh pengguna X @himanshu dalam respon lebih luas terhadap unggahan Karpathy, berfungsi dalam tiga tahap yang berbeda:

1. Pemrosesan Data: Bahan mentah—makalah penelitian, repositori GitHub, dataset, dan artikel web—ditaruh ke dalam direktori raw/. Karpathy menggunakan Obsidian Web Clipper untuk mengubah konten web menjadi file Markdown (.md), memastikan bahwa bahkan gambar disimpan secara lokal agar LLM dapat merujuknya melalui kemampuan visi.

2. Tahap Kompilasi: Ini adalah inovasi inti. Alih-alih hanya mengindeks file, LLM “mengompilasi” mereka. Ia membaca data mentah dan menulis wiki terstruktur. Ini mencakup pembuatan ringkasan, identifikasi konsep kunci, penulisan artikel bergaya ensiklopedia, dan—yang paling penting—membuat backlinks antara ide-ide yang saling terkait.

3. Pemeliharaan Aktif (Linting): Sistem ini tidak statis. Karpathy menggambarkan menjalankan “pemeriksaan kesehatan” atau linting di mana LLM memindai wiki untuk inkonsistensi, data yang hilang, atau koneksi baru. Seperti yang diamati anggota komunitas Charly Wargnier, “Ini berfungsi sebagai basis pengetahuan AI hidup yang benar-benar memperbaiki dirinya sendiri.”

Dengan memperlakukan file Markdown sebagai “sumber kebenaran”, Karpathy menghindari masalah “kotak hitam” dari embedding vektor. Setiap klaim yang dibuat oleh AI bisa ditelusuri kembali ke file .md tertentu yang bisa dibaca, diedit, atau dihapus oleh manusia.

Dampak untuk perusahaan

Sementara pengaturan Karpathy saat ini digambarkan sebagai “kumpulan skrip yang tidak rapi”, dampaknya untuk perusahaan langsung terasa.

Sebagaimana dikatakan pengusaha Vamshi Reddy (@tammireddy) sebagai respon terhadap pengumuman itu: “Setiap bisnis punya direktori raw/. Tidak ada yang pernah mengompilasinya. Itu adalah produknya.”

Karpathy setuju, mengusulkan bahwa metodologi ini mewakili kategori produk “baru yang luar biasa”.

Mayoritas perusahaan saat ini “tertenggelam” dalam data tidak terstruktur—log Slack, wiki internal, dan laporan PDF yang tidak ada waktu untuk disintesis.

Layer enterprise “gaya Karpathy” tidak hanya akan mencari dokumen-dokumen ini; ia akan aktif menyusun “Kitab Perusahaan” yang diperbarui secara real-time.

Seperti yang dikatakan pendidik AI dan penulis buletin Ole Lehmann di X: “Saya pikir siapa pun yang memaket ini untuk orang biasa akan mendapatkan sesuatu yang besar. Satu aplikasi yang terintegrasi dengan alat yang sudah kamu gunakan, bookmark, aplikasi baca-later, aplikasi podcast, dan utas yang disimpan.”

Eugen Alpeza, co-founder dan CEO dari startup pembuat agen enterprise AI dan orkestra Edra, mencatat dalam sebuah unggahan di X: “Lonjakan dari wiki penelitian pribadi menjadi operasi perusahaan adalah tempat yang brutal. Ribuan karyawan, jutaan catatan, pengetahuan suku yang bertentangan di seluruh tim. Memang, ada ruang untuk produk baru dan kami sedang membangunnya di enterprise.”

Saat komunitas mengeksplorasi “Pola Karpathy”, fokus sudah berpindah dari penelitian pribadi ke orkestrasi multi-agen.

Analisis arsitektur terbaru oleh @jumperz, pendiri platform pembuatan agen AI Secondmate, mengilustrasikan evolusi ini melalui “Swarm Knowledge Base” yang mengalirkan alur kerja wiki ke sistem 10 agen yang dikelola melalui OpenClaw.

Tantangan inti dari swarm multi-agen—di mana satu halusinasi bisa berlipat ganda dan “menginfeksi” memori kolektif—diatasi di sini dengan “Quality Gate” yang didedikasikan.

Dengan menggunakan model Hermes (yang dilatih oleh Nous Research untuk evaluasi terstruktur) sebagai pengawas independen, setiap draf artikel dinilai dan divalidasi sebelum dipromosikan ke wiki “langsung”.

Sistem ini menciptakan “Compound Loop”: agen menumpahkan output mentah, pengompilasi mengorganisasinya, Hermes memvalidasi kebenaran, dan ringkasan yang telah diverifikasi dikembalikan ke agen di awal setiap sesi. Ini memastikan bahwa swarm tidak “bangun dalam keadaan kosong,” tetapi memulai setiap tugas dengan ringkasan terfilter dan integritas tinggi dari semua yang telah dipelajari kolektif.

Skalabilitas dan kinerja

Salah satu kritik umum terhadap pendekatan non-vektor adalah skalabilitas. Namun, Karpathy mencatat bahwa pada skala ~100 artikel dan ~400.000 kata, kemampuan LLM untuk bernavigasi lewat ringkasan dan berkas indeks lebih dari cukup.

Untuk wiki departemen atau proyek penelitian pribadi, infrastruktur “RAG mewah” sering kali memperkenalkan lebih banyak latensi dan “bising pengambilan” daripada yang dipecahkan.

Podcaster teknologi Lex Fridman (@lexfridman) mengonfirmasi bahwa ia menggunakan pengaturan serupa, menambahkan lapisan visualisasi dinamis:

“Saya sering meminta ia menghasilkan html dinamis (dengan js) yang memungkinkan saya menyortir/memfilter data dan untuk bermain dengan visualisasi secara interaktif. Sesuatu yang berguna adalah saya memiliki sistem yang menghasilkan mini-basis pengetahuan fokus sementara… yang kemudian saya muat ke dalam LLM untuk interaksi mode suara pada lari jarak jauh 7-10 mil.”

Konsep “wiki sementara” ini menunjukkan masa depan di mana pengguna tidak hanya “berbicara” dengan AI; mereka melahirkan tim agen untuk membangun lingkungan penelitian kustom untuk tugas tertentu, yang kemudian menghilang setelah laporan ditulis.

Lisensi dan filosofi ‘file-over-app’

Secara teknis, metodologi Karpathy dibangun di atas standar terbuka (Markdown), tetapi dilihat melalui lensa yang bersifat kepemilikan namum dapat diperluas (aplikasi pencatatan dan organisasi file Obsidian).

• Markdown (.md): Dengan memilih Markdown, Karpathy memastikan basis pengetahuannya tidak terkunci pada vendor tertentu. Ini mempersiapkan masa depan; jika Obsidian menghilang, file-file tersebut tetap bisa dibaca oleh editor teks mana pun.

• Obsidian: Meski Obsidian adalah aplikasi kepemilikan, filosofi “local-first” dan EULA-nya (yang memungkinkan penggunaan pribadi gratis dan memerlukan lisensi untuk penggunaan komersial) sejalan dengan keinginan pengembang untuk kedaulatan data.

• Alat “Vibe-Coded”: Mesin pencari dan alat CLI yang disebutkan Karpathy adalah skrip kustom—kemungkinan berbasis Python—yang menjembatani jembatan antara LLM dan sistem file lokal.

Filosofi “file-over-app” ini adalah tantangan langsung bagi model-model berbasis SaaS seperti Notion atau Google Docs. Dalam model Karpathy, pengguna memiliki data, dan AI hanyalah editor yang sangat canggih yang “mengunjungi” file untuk melakukan tugas.

Perpustakawan vs. mesin pencari

Komunitas AI bereaksi dengan campuran validasi teknis dan antusiasme “vibe-coding”. Perdebatan berpusat pada apakah industri telah terlalu mengindeks pada Vector DB untuk masalah yang pada dasarnya tentang struktur, bukan hanya kesamaan.

Jason Paul Michaels (@SpaceWelder314), seorang tukang las yang menggunakan Claude, mengulangi sentimen bahwa alat yang lebih sederhana sering kali lebih kuat:

“Tidak ada database vektor. Tidak ada embedding… Hanya markdown, FTS5, dan grep… Setiap perbaikan bug… diindeks. Pengetahuan terakumulasi.”

Namun, pujian terpenting datang dari Steph Ango (@Kepano), co-creator Obsidian, yang menyoroti konsep yang disebut “Mitigasi Kontaminasi.”

Dia menyarankan agar pengguna menjaga “vault” pribadi mereka tetap bersih dan membiarkan agen bermain di “vault” yang “berantakan,” hanya membawa artefak berguna sekali setelah alur kerja yang berhadapan dengan agen telah menyaringnya.

Solusi mana yang tepat untuk proyek vibe coding perusahaan Anda?

Pendekatan “Vector DB” ibarat gudang besar yang tidak terorganisir dengan pengemudi forklift yang sangat cepat. Anda bisa menemukan apa pun, tetapi Anda tidak tahu kenapa itu ada di sana atau bagaimana hubungannya dengan palet di sebelahnya. Wiki “Markdown” Karpathy seperti perpustakaan terkurasi dengan seorang kepala perpustakaan yang terus menulis buku baru untuk menjelaskan yang lama.

Fase berikutnya

Eksplorasi terakhir Karpathy mengarah kepada tujuan akhir data ini: Generasi Data Sintetis dan Fine-Tuning.

Seiring wiki tumbuh dan data menjadi lebih “murni” melalui linting LLM yang terus menerus, ini menjadi set pelatihan yang sempurna.

Alih-alih LLM hanya membaca wiki dalam “jendela konteks”-nya, pengguna akhirnya bisa melatih model yang lebih kecil dan efisien berdasarkan wiki itu sendiri. Ini memungkinkan LLM untuk “mengetahui” basis pengetahuan pribadi peneliti dalam bobotnya, pada dasarnya mengubah proyek penelitian pribadi menjadi kecerdasan privat yang kustom.

Intinya: Karpathy tidak hanya membagikan skrip; ia telah membagikan sebuah filosofi. Dengan memperlakukan LLM sebagai agen aktif yang memelihara ingatannya sendiri, ia telah menghindari batasan interaksi AI “one-shot”.

Bagi peneliti individu, ini berarti akhir dari “bookmark yang terlupakan”.

Bagi perusahaan, ini menandai transisi dari “kolam data mentah” ke “aset pengetahuan yang dikompilasi.” Seperti yang dirangkum oleh Karpathy sendiri: “Anda jarang menulis atau mengedit wiki secara manual; itu adalah domain LLM.” Kita sedang memasuki era arsip otonom.