Trunk Tools Percepat Proses Review Dokumen dari 60 Hari Menjadi 10 Hari dengan Teknologi Khusus!

Banyak industri tidak memiliki basis data SaaS yang bersih dan terorganisir. Sebaliknya, kenyataannya adalah dokumen yang berantakan, skema yang bersifat proprietary, dan proses kerja yang sulit ditangani oleh model umum. Hal ini mendorong perusahaan manajemen proyek konstruksi, Trunk Tools untuk membangun arsitektur khusus yang terdiri dari tiga lapisan—persepsi, semantik, dan agen—berbasis data yang sangat mendetail untuk mendukung otomasi industri yang akurat dan relevan.

Stack yang dibangun khusus ini berhasil memperpendek siklus tinjauan dari bulan menjadi hanya beberapa hari, mencegah kesalahan yang mahal di lapangan, dan memberikan kemampuan kepada agen otonom untuk menganalisis jutaan halaman dokumentasi, kata Trunk.

“Kami ingin mengumpulkan data dari sistem yang terpisah, memprosesnya, menyusunnya, mengolahnya menjadi grafik pengetahuan, dan kemudian melatih model AI,” ungkap Sarah Buchner, pendiri dan CEO Trunk yang juga seorang mantan tukang kayu.

Untuk para pembangun di industri lainnya, pendekatan Trunk bisa jadi menjadi cetak biru untuk mengubah kekacauan data menjadi alur kerja yang siap pakai dan spesifik untuk industri.

Masalah yang Dihadapi LLM Umum dalam Data Industri

Foundation LLM, meski kuat, lebih dioptimalkan untuk cakupan luas, daripada kedalaman. “LLM umum dilatih untuk dapat melakukan banyak hal dengan baik, namun lemah dalam hal spesifik,” jelas Kriti Faujdar, manajer produk senior yang bergerak di bidang infrastruktur AI, AI yang otonom, keamanan, dan platform LLM. Sebagai contoh, istilah langka dan penalaran khusus domain menjadi tantangan tersendiri.

Web, aplikasi, dan pengembang perangkat lunak, Sébastien De Bollivier setuju bahwa bottleneck terbesar terletak pada keandalan data yang “penuh jargon, berisi banyak singkatan, dan spesifik format.”

“Model kelas GPT-4 bisa memahami kontrak hukum Prancis, tetapi akan kesulitan dengan referensi pasal yang harus dikutip oleh praktisi,” tambahnya.

Lebih dari itu, banyak data berharga perusahaan sebenarnya tidak dimasukkan dalam proses pelatihan. Data tersebut berada di sistem internal dan dalam format proprietary. “RAG membantu sedikit,” lanjut Faujdar. “Namun, itu hanya memberikan fakta yang lebih baik kepada model yang tetap tidak dapat bernalar dengan baik dalam domain tersebut.”

Pelatihan awal pada data domain adalah kunci; perusahaan seharusnya menyempurnakannya dengan contoh tugas yang baik dan membangun evaluasi mereka sendiri. “Beberapa ribu contoh dari praktisi nyata jauh lebih bernilai daripada jutaan contoh yang berisik dan tidak teratur,” tegasnya.

Mixture-of-experts (MoE) bisa memberikan spesialisasi tanpa biaya inferensi yang melambung. Menggabungkan RAG dengan fine-tuning juga sangat efektif; RAG menangani fakta yang panjang sementara fine-tuning menyempurnakan kosakata dan penalaran.

De Bollivier menyoroti keuntungan dari stack hibrida: sebuah model umum untuk penalaran dan pengoordinasian, serta model lebih kecil yang sudah difine-tune untuk ekstraksi spesifik domain. Ia menyarankan, “Jangan fine-tune untuk membuat model lebih ‘pintar’ tentang sebuah domain, tetapi fine-tune untuk menjadikannya lebih andal dalam format output spesifik yang dibutuhkan oleh alur kerja Anda.”

Industri perdagangan dan konstruksi sedang melihat penerapan teknik ini, begitu juga dengan hukum dan kesehatan, jelas De Bollivier. Vertikal-vertikal ini memiliki “taruhan tinggi untuk kesalahan ditambah format dokumen standar, yang berarti ada ROI jelas untuk pelatihan domain.”

Namun, ada caveat yang perlu disampaikan Faujdar: model tertentu sering kali tidak dapat berfungsi di luar domain mereka, sehingga tidak berguna di luar ekspertis mereka, kecuali jika mereka dilatih ulang.

Persepsi, Semantik, Agen: Di Balik Tiga Lapisan Trunk

Di domain yang sangat spesifik seperti konstruksi, “data dump” ke dalam LLM besar tidak memadai, ujar Amrish Kapoor, CTO Trunk. Kebanyakan transformer adalah model probabilistik, sehingga ketika diberikan beberapa gambar, mereka melaporkan bahwa itu “mungkin” adalah pohon atau “mungkin” seorang anak yang bermain di dekat pohon.

Hal ini membuat mereka tidak cukup untuk interpretasi simbolik yang presisi tinggi. Di dalam dokumen konstruksi, simbol yang setebal 2 milimeter bisa memiliki makna yang sangat berbeda tergantung di mana ia ditempatkan.

Lagi pula, dibatasi oleh batas konteks, model probabilistik kesulitan dalam mengingat jangka panjang proyek. “Saya tidak berbicara tentang jendela konteks beberapa token, tetapi memori jangka panjang yang membentang selama berbulan-bulan hingga bertahun-tahun, karena ini adalah waktu yang dibutuhkan beberapa proyek,” tambah Kapoor.

Daripada itu, sistem Tiga Lapisan Trunk memecah alur kerja menjadi:

• Persepsi (membaca dan mengekstrak data dari dokumen berantakan seperti PDF, gambar, atau pemindaian)

• Lapisan semantik/graf (memahami data tersebut dan memahami hubungan di antara mereka).

• LLM dan agen di atasnya.

Gambar konstruksi biasanya simbolik, jelas Buchner. Pintu tidak selalu dilabeli ‘pintu.’ Kadang-kadang, itu hanyalah sebuah lengkungan di dinding yang dibaca oleh mata terlatih berdasarkan tahun-tahun pengalaman.

“Lapisan persepsi adalah yang mengajarkan AI untuk membaca bahasa tersebut,” ujarnya. Lapisan semantik kemudian memberi makna; misalnya, menghubungkan pintu dengan gambar yang merinci, spesifikasi yang mengaturnya, dan trade yang memasangnya. Ini membantu menjawab pertanyaan kritis engineer proyek: Bukan “apakah ada pintu di sini?” tetapi “apakah pintu ini menimbulkan masalah di kemudian hari?”

Perubahan ini sangat penting dalam konstruksi karena biaya sebuah masalah akan bertambah seiring waktu. “Konflik yang terdeteksi dalam desain relatif murah untuk diatasi,” jelas Buchner, “sementara masalah yang sama yang terdeteksi di lapangan dapat menghabiskan puluhan ribu dolar.”

Di tingkat tinggi, sistem ini mengidentifikasi jenis dokumen dan mulai mengekstrak informasi berdasarkan konten (gambar, jadwal, teks paragraf). Data ini kemudian “diubah dan diperkuat” dalam platform, yang memicu alur kerja agensi seperti hubungan graf pengetahuan dan alur kerja pengguna akhir.

Contoh, seorang agen bisa meninjau buletin arsitektur dan membuat overlay visual yang membandingkan versi lama dan baru (menandai penambahan dan penghapusan), lalu menghasilkan narasi tertulis yang mendeskripsikan perubahan itu dengan istilah sederhana. Ini membantu pengguna memahami apa yang telah berubah dan berkoordinasi dengan mitra trade mengenai harga dan perubahan pesanan yang diperbarui.

Skala Masalah Data di Konstruksi

Alur kerja konstruksi penuh dengan asumsi dan koneksi tersirat antara data dari berbagai sumber, ujar Buchner. Jumlah data yang tidak terstruktur adalah “tidak mungkin diproses atau dimengerti secara manusiawi.”

Buchner memperkirakan bahwa rata-rata gedung bertingkat menghasilkan sekitar 3,6 juta halaman dokumentasi terkait. “Jika dicetak menjadi tumpukan kertas, tingginya akan setara dengan gedung itu sendiri.”

Ketiga lapisan dari stack Trunk—persepsi, semantik, dan LLM—dilatih menggunakan “dataset yang sangat spesifik” dari pelanggan dengan “izin eksplisit” dan auto-labeling/IP, jelas Kapoor. Pelanggan yang tidak ingin Trunk melatih pada data mereka dapat memilih untuk tidak ikut.

Data ini dide-identifikasi dan dianalisis, dan Trunk juga mengumpulkan “banyak data” yang sudah diberi label melalui pipeline lain seperti pemodelan informasi bangunan 3D (BIM).

Trunk menyatakan hanya mengirim agen yang mencapai akurasi sekitar 95%. Tim mereka mempertahankan pipeline evaluasi kontinu berdasarkan data kebenaran dari pelanggan dan ahli. Mereka juga menggunakan model LLM sebagai juri.

“Konsep LLM sebagai juri adalah untuk menilai seberapa baik kinerja Anda, baik secara subjektif maupun objektif,” kata Kapoor. Objektivitas bisa berupa ‘benar’ atau ‘tidak benar,’ tetapi subjektivitas memerlukan nuansa lebih.

Sebagai contoh, ketika membuat email atau narasi, kerangka LLM sebagai juri dapat menghasilkan skor komposit, atau nilai numerik yang mengagregasi berbagai metrik dan menguji kinerja atau risiko model.

Akan ada tantangan, terutama terkait latensi, catat Buchner; setiap kali kapasitas penalaran dari model dasar meningkat, risiko latensi juga naik. Trunk mempertahankan sekumpulan kriteria evaluasi untuk secara objektif mengukur latensi kapan pun ada perubahan pada infrastruktur, agen, dan panggilan API.

“Sebelum kami meluncurkan kepada pelanggan, kami memastikan bahwa perubahan minor pada pengalaman pengguna akhir sangat berharga dengan peningkatan kinerja,” tutur Buchner.

Dari 60 Hari Menjadi 10: Hasil yang Terukur

Platform Trunk menggerakkan tujuh agen AI yang dirancang khusus untuk konstruksi, seperti menganalisis respons permintaan informasi (RFI), meninjau penawaran, atau mengulas gambar dan pengajuan.

Agen pengajuan, misalnya, menandai informasi yang hilang, bertentangan, atau tidak sesuai dalam spesifikasi produk dan RFI. Meskipun ini adalah langkah penting dalam proses konstruksi, Buchner mengatakan, “ini adalah alur kerja yang sangat menjengkelkan” karena peninjau manusia harus membandingkan dokumen “dengan banyak bagian dokumen lain.”

Tetapi agen ini dapat menyelesaikan pekerjaan itu dalam hitungan detik, dan Trunk menyatakan telah mengurangi siklus pengajuan dari 50 hingga 60 hari menjadi hanya 10 hari, “yang memiliki implikasi besar terhadap jadwal dan keuangan.”

Saat ini, agen-agen ini saling berkomunikasi secara langsung, yang menjadi “hal yang sangat menarik,” komentar Buchner. Jadi, misalnya, satu agen akan meninjau gambar arsitektur untuk ketepatan, lalu menyerahkannya secara otonom kepada agen yang menangani RFI untuk mengajukan pertanyaan tindak lanjut.

“Jika gambar tersebut bermasalah, agen RFI mengambil alih dan secara aktif meminta klarifikasi,” jelas Buchner.

Trunk mengklaim pelanggan mereka melaporkan penghematan waktu rata-rata 20 hingga 40 menit per pertanyaan di lapangan. Buchner menegaskan bahwa pengguna di lapangan lebih paham dari siapa pun bagaimana sulitnya “menghabiskan waktu” untuk bolak-balik dari trailer kantor, mencari dokumen proyek di sistem yang berantakan atau PDF cetak, menyelesaikan ketidaksesuaian, dan kembali untuk berkoordinasi dengan mitra trade.

Trunk juga melaporkan hasil tambahan ini:

• Rata-rata penghematan waktu 8 menit untuk pengambilan satu dokumen (pengecekan status, pencarian lokasi, pertanyaan kuantitas).

• Rata-rata penghematan waktu 20 menit untuk referensi standar (cross-referencing 2 hingga 3 bagian spesifikasi untuk menemukan jawaban).

• Rata-rata penghematan waktu 40 menit untuk penelitian multi-dokumen (daftar dan filter pertanyaan, memetakan hubungan, menganalisis RFI dan pengajuan di antara 4 hingga 6 dokumen).

• Rata-rata penghematan waktu 75 menit untuk tugas kompleks (membuat RFI dan materi komunikasi lain, cross-referencing mendalam di antara dokumen, pelacakan perubahan).

Dalam satu contoh, agen tinjau gambar Trunk menandai bahwa balok struktural dipindahkan 8,5 inci. Namun, ini tidak didokumentasikan oleh arsitek. Jika perubahan ini tidak terdeteksi, manajer proyek kemungkinan harus membongkar dan memasang kembali balok ukuran yang tepat, ungkap Buchner. Pekerjaan ulang ini bisa menambah biaya $10,000 atau lebih, dan “tentunya akan ada dampak pada jadwal.”

Buchner juga menunjukkan contoh lain: seorang agen menandai $60,000 dalam harga yang dibesar-besarkan tanpa justifikasi dari subkontraktor lanskap; mengidentifikasi bahwa sebuah perapian perlu disegel sebelum pemasangan drywall, sehingga menghemat sekitar $100,000 dalam biaya tenaga kerja, material, dan penundaan; serta memberi tahu bahwa pintu listrik membutuhkan panel yang tidak termasuk dalam gambar listrik.

Pembelajaran untuk Industri Lain

Pendekatan Trunk dalam membangun agen dapat diterapkan di sektor mana pun yang bekerja dengan volume data tidak terstruktur yang spesifik untuk industri. Para pembangun di sektor tertentu harus memahami tantangan data spesifik industri yang dihadapi pengguna akhir mereka dan membangun infrastruktur teknis yang mampu mentransformasikan data tidak terstruktur menjadi sesuatu yang bisa dipahami oleh LLM, kata Buchner.

“Hanya dengan cara itu Anda bisa membangun koneksi antara titik data yang pada akhirnya memberi makan alur kerja agensi.”

Banyak uang sedang diinvestasikan dalam model dasar, jadi perusahaan seharusnya membangun sistem modular yang bisa memanfaatkan keunggulan berbagai model seiring dengan terus meningkatnya performa model-model tersebut, saran Buchner.

Selanjutnya, “bangun keunggulan teknis Anda di tempat di mana model umum tidak berinvestasi dan tidak berkinerja baik,” tambahnya.