Selama beberapa dekade, profesional data menghadapi tantangan dalam mengelola basis data operasional dan analitis secara bersamaan tanpa mengorbankan latensi dan performa. Sistem yang terus beroperasi dan mengambil tindakan berdasarkan data langsung tidak dapat menerima jeda antara dirinya dan informasi yang dibutuhkan untuk beraksi.
- LTAP menaruh harapan pada penyatuan layer penyimpanan di saat HTAP berfokus pada konvergensi mesin
- Lakehouse//RT memberikan latensi query milidetik pada data lakehouse langsung tanpa lapisan layanan terpisah
- Para analis melihat framing agen dan pendekatan format terbuka sebagai pembeda nyata
- Apa arti ini bagi perusahaan?
Pada acara Data + AI Summit yang digelar hari Selasa, Databricks mengumumkan dua produk yang bertujuan untuk menyederhanakan infrastruktur ini. Lakehouse//RT menawarkan latensi query milidetik secara langsung pada tabel Delta dan Iceberg yang terkelola, sehingga menghilangkan kebutuhan akan lapisan layanan waktu nyata yang biasanya dipelihara oleh perusahaan. LTAP, singkatan dari Lake Transactional/Analytical Processing, menyimpan data transaksi Postgres dalam format Delta dan Iceberg dari titik penulisan, menghapus pipeline ETL yang telah menghubungkan sistem operasional dan analitis selama bertahun-tahun.
Reynold Xin, salah satu pendiri Databricks, menggambarkan tumpukan data yang lebih sederhana sebagai “cawan suci untuk agen” dalam sebuah keterangan pers, mengatakan bahwa seiring pengguna semakin banyak membuat aplikasi, agen yang berpikir analitis di atas aplikasi tersebut memerlukan infrastruktur yang rapi untuk bergerak cepat.
“Agen lebih suka memiliki tumpukan yang lebih sederhana, karena itu membuat mereka bisa bergerak lebih cepat,” jelas Xin.
LTAP menaruh harapan pada penyatuan layer penyimpanan di saat HTAP berfokus pada konvergensi mesin
Banyak vendor telah mencoba berbagai pendekatan selama bertahun-tahun untuk menyatukan data analitis dan transaksional. Pada tahun 2014, firma analis Gartner menciptakan istilah HTAP, yang berarti Hybrid Transactional/Analytical Processing, untuk menggambarkan vendor yang mencoba menyatukan kedua jenis basis data ini, seperti MemSQL (sekarang SingleStore), SAP HANA, dan MySQL Heatwave milik Oracle.
LTAP adalah jawaban Databricks untuk HTAP, menggunakan arsitektur Lakebase untuk menyatukan data pada lapisan penyimpanan, bukan di level mesin. Lakebase adalah layanan basis data PostgreSQL berbasis serverless yang diluncurkan secara umum pada bulan Februari lalu.
“HTAP bagi kami lebih merupakan kegagalan industri daripada keberhasilan,” kata Xin.
Pendekatan LTAP berfokus pada lapisan penyimpanan alih-alih lapisan query. Sebelumnya, Lakebase menyimpan data Postgres dalam format Postgres di penyimpanan objek, yang memerlukan konversi sebelum mesin analitis Lakehouse dapat menggunakannya dengan efisien. Dengan LTAP, data transaksi langsung disimpan dalam format Delta atau Iceberg, berbagi salinan yang sama dengan beban kerja analitis. Postgres tetap menjadi mesin transaksional, sementara Spark dan Lakehouse berfungsi sebagai mesin analitis.
“Intinya, kami memastikan penyimpanan dasar adalah satu salinan data,” kata Xin.
Tantangan utama di sini adalah latensi. Penyimpanan objek membutuhkan waktu respons dalam jangkauan detik, terlalu lambat untuk beban kerja OLTP yang memerlukan performa di bawah milidetik. Lakebase mengatasi ini melalui layer caching antara instance komputasi Postgres dan penyimpanan objek. Keputusan desain kuncinya adalah di mana konversi kolom terjadi: kapasitas CPU idle di layer caching tersebut melakukan konversi sebelum data masuk ke penyimpanan objek.
“Ketika kamu mengonversi data dari baris menjadi kolom, ukurannya bisa menyusut lebih dari 10 kali lipat, sehingga biaya jaringan antara layer caching dan penyimpanan objek bisa sangat berkurang,” kata Xin.
Lakehouse//RT memberikan latensi query milidetik pada data lakehouse langsung tanpa lapisan layanan terpisah
Lakehouse//RT adalah jawaban Databricks untuk lapisan layanan waktu nyata terpisah, yang biasanya perusahaan buat untuk menangani query dengan latensi rendah, dengan biaya salinan data yang tidak perlu, pemerintahan terpisah, dan kompleksitas pipeline yang tidak bisa dilewati oleh agen. Beberapa kemampuan kunci dari Lakehouse//RT meliputi:
- Mesin komputasi Reyden: Dirancang khusus untuk layanan dengan latensi rendah dan tingkat koneksi tinggi, Reyden bisa langsung menjalankan query pada tabel Delta dan Iceberg tanpa memindahkan data keluar dari lakehouse.
- Latensi dan throughput: Lakehouse//RT memberikan latensi kurang dari 100ms pada 12,000 query per detik, dengan waktu respons serendah 10ms pada dataset kecil dan hingga 16 kali performa lebih baik daripada tumpukan layanan terdedikasi yang ada.
- Pemerintahan dan akses data: Setiap query berjalan dalam kerangka pemerintahan Unity Catalog tanpa lapisan izin terpisah, tanpa salinan data dan tanpa pipeline ingest.
Para analis melihat framing agen dan pendekatan format terbuka sebagai pembeda nyata
Masalah yang diatasi oleh kedua produk ini sudah sangat dikenal di kalangan tim data perusahaan. Namun, para analis menyoroti perbedaan antara poin kesakitan dan klaim spesifik yang diajukan oleh Databricks.
“Perusahaan telah memiliki HTAP, streaming, cloud warehouse, dan penyimpanan operasional selama bertahun-tahun,” kata Stephanie Walter, Pemimpin Praktik AI Stack di HyperFRAME Research. “Apa yang berbeda adalah framing AI agen.”
Walter mencatat bahwa agen memerlukan data operasional langsung, konteks historis, pemerintahan, pengambilan, dan penulisan kembali dalam alur kerja yang sama.
“Itu adalah argumen arsitektur yang kuat, tetapi Lakebase masih harus membuktikan bahwa ia bisa memenuhi harapan CIO terkait latensi, keandalan, dan kematangan operasional,” ujarnya.
Mike Leone, analis di Moor Insights dan Strategy, mengungkapkan bahwa jalan menuju diferensiasi sejati lebih spesifik daripada konsep unifikasi itu sendiri. Dia juga mencatat bahwa analitik terbuka pada danau data kini menjadi hal yang biasa, dengan banyak vendor yang menawarkan layanan serupa.
“Langkah yang kurang umum adalah membiarkan penulisan transaksi berformat terbuka juga, sehingga basis data operasional tidak terjebak dalam kotak proprietary sementara hanya setengah dari analitik yang terbuka,” jelas Leone.
Dia menambahkan bahwa pendekatan format terbuka, yang dipadukan dengan kemampuan Lakehouse//RT untuk melakukan query pada data langsung dari danau, adalah yang memberikan arsitektur ini dasar kredibel untuk menghentikan deretan sistem khusus.
Klaim teknis yang akan mendapatkan perhatian paling besar juga merupakan yang paling sentral. “Saya ingin para insinyur mereka menjelaskan bagaimana kedua mesin berbagi satu salinan tanpa langkah konversi yang pelan yang melakukan sinkronisasi di tengah,” kata Leone.
Apa arti ini bagi perusahaan?
Bagi insinyur data yang sedang mengevaluasi tumpukan mereka untuk beban kerja agen, pertanyaannya bukan lagi alat terbaik mana yang harus digunakan untuk setiap pekerjaan — tetapi apakah menggunakan alat terpisah masih dapat dipertahankan.
Perusahaan yang membangun basis data operasional terpisah, lapisan layanan waktu nyata, dan lakehouse analitis sebelumnya dapat memperlakukan celah di antara mereka sebagai beban pemeliharaan. Agen mengungkap celah-celah tersebut sebagai risiko operasional: sebuah sistem yang beroperasi melintasi batas pemerintahan akan menemukan ketidakcocokan lebih cepat daripada tim manusia mana pun.
Pasar bergerak lebih cepat dari yang diantisipasi banyak roadmap vendor untuk meninggalkan lapisan layanan khusus ini. Menurut VB Pulse Q1 2026, survei longitudinal tiga gelombang terhadap organisasi berukuran lebih dari 100 karyawan, niat pengambilan hibrida meningkat tiga kali lipat dari 10.3% menjadi 33.3% dalam satu kuartal, sementara adopsi basis data vektor mandiri menurun di setiap vendor yang dipantau. Logika konsolidasi yang sama kini menyerang lapisan layanan waktu nyata.
Pendekatan tradisional — alat terbaik untuk setiap jenis beban kerja dan pipeline di antara mereka — dibangun untuk konsumsi analitis dengan kecepatan manusia. Beban kerja agen tidak bisa mentolerir arsitektur seperti itu.
“Sakit yang mereka tunjukkan, semua penyalinan dan sinkronisasi antara sistem operasional dan analitis, itu nyata dan mahal, dan siapa pun yang menjalankannya dalam skala besar pasti merasakan dampaknya,” kata Leone.
