Brex Kembangkan Kebijakan Agen AI dengan Mengamati Perilaku, Bukan Hanya Menyusun Aturan

OpenClaw sudah menjadi salah satu kerangka agensi yang paling banyak diadopsi, tetapi masih perlu membuktikan efektivitasnya di skala perusahaan. Para agen butuh kredensial sejati, seperti API keys, OAuth tokens, dan akun layanan agar dapat berfungsi secara efektif. Namun, Brex menemukan bahwa pengaturan tradisional tidak mampu mengendalikan apa yang dilakukan oleh para agen dengan kredensial tersebut.

Untuk mengatasi keterbatasan ini, Brex mengembangkan platform internal bernama CrabTrap. Proxy HTTP/HTTPS bersifat open-source ini menyadap semua lalu lintas jaringan, memeriksa aturan kebijakan, dan menggunakan sistem LLM sebagai pengadil untuk menentukan apakah permintaan agen harus disetujui atau ditolak.

“Yang kami lihat adalah bahwa lapisan jaringan adalah titik penegakan yang belum dimanfaatkan,” kata Pedro Franceschi, salah satu pendiri dan CEO Brex. “Setiap permintaan yang dibuat oleh seorang agen adalah kesempatan untuk menyadap, menganalisis, dan membuat keputusan kebijakan.”

Tema penting yang ingin disampaikan Franceschi kepada para pemimpin TI adalah: tata kelola agen harus bergeser dari izin tingkat SDK dan batasan model menuju pengendalian jaringan terpusat yang menegakkan dan belajar dari perilaku agen yang nyata di lapangan.

Bagaimana Brex mengincar lapisan transportasi

Solusi yang “jelas” (setidaknya pada awalnya) untuk celah keamanan agen adalah pengaturan batasan, dan banyak dari pekerjaan awal berfokus pada alat terarah, izin per aksi, dan persetujuan manusia. Namun, seiring dengan berkembangnya agen, setiap kemampuan baru berarti ada API lain yang perlu disesuaikan atau diaudit, lanjut Franceschi.

“Setiap sistem agensi dengan banyak alat dan akses ke internet terbuka menciptakan ketegangan langsung bagi para pembangun: Semakin mampu agen, semakin berbahaya ia menjadi, dan semakin aman Anda menjadikannya, semakin sedikit manfaat yang didapat,” tuturnya.

Solusi yang ada untuk trade-off ini cenderung “lemah”: Token API yang terperinci membantu di pinggiran, tetapi bisa tetap disalahgunakan dan membatasi fungsionalitas. Batasan semantik (seperti konteks, keterampilan, atau pengarah prompt) mudah dilompati oleh injeksi prompt, terutama untuk agen yang terhubung ke internet.

Agen bisa “ditinju” jika diberikan akses baca-saja atau set alat yang terbatas, tetapi dengan demikian mereka tidak dapat melakukan pekerjaan yang berarti, lanjut Franceschi. Di sisi lain, memberikan akses tulis yang luas dan permukaan alat besar dapat mengakibatkan halusinasi dan konsekuensi produksi yang nyata.

Gateway model context protocol (MCP) menerapkan kebijakan pada lapisan protokol—tetapi hanya untuk lalu lintas yang menggunakan MCP. Sementara itu, batasan dari penyedia LLM terkait dengan satu model dan bisa “buram” untuk disesuaikan dengan kebijakan spesifik perusahaan. Dan alat kuat seperti Nvidia OpenShell lebih berfungsi sebagai “pengendalian keluar per sandbox.”

“Ketika kami mulai, kami belum menemukan solusi untuk menerapkan pengaman seperti OpenClaw secara aman,” kata Franceschi. “Daripada menunggu industri mengejar, kami memutuskan untuk memiliki masalah ini dan menciptakan alat yang diperlukan.”

Pentingnya, mereka butuh platform yang berada di antara setiap agen dan setiap permintaan jaringan, yang bisa membuat “keputusan mendetail tentang apa yang diizinkan,” jelasnya. Ini menjadikan lapisan transportasi sebagai komponen arsitektur inti dan titik awal yang alami, tambahnya.

Dengan beroperasi di lapisan ini, CrabTrap bersifat framework-agnostic, language-agnostic, dan API-agnostic. Ini tidak memerlukan pembungkus SDK atau integrasi per alat. Pengguna hanya perlu mengatur HTTP_PROXY dan HTTPS_PROXY dalam lingkungan agen, dan setiap permintaan keluar akan melewati proxy sebelum mencapai tujuan.

Namun, Franceschi menekankan, Brex tidak mulai di lapisan transportasi karena berpikir itu satu-satunya jawaban; lebih tepatnya, mereka percaya pada “keamanan berlapis.”

“Lapisan transportasi adalah salah satu yang kurang dibidangi, dan kami melihat peluang untuk menambahkan penegakan berarti di sana bersamaan dengan segala hal lainnya,” ujarnya.

Lingkar Pelatihan LLM- sebagai-Pengadil

CrabTrap mengombinasikan aturan statis deterministik dengan LLM sebagai pengadil untuk permintaan yang berada di luar pola yang diketahui, jelas Franceschi. Sang pengadil hanya “aktif pada ekor panjang titik akhir yang tidak dikenal atau bentuk permintaan yang tidak biasa,” yang untuk agen yang matang biasanya kurang dari 3% permintaan.

Masalah yang lebih mendesak adalah bagaimana mengetahui bahwa kebijakan itu yang tepat? Dengan aturan statis, sebenarnya cukup mudah untuk menilai akurasinya. Namun, dengan pengadil LLM, sistem ini tidak deterministik, dan pengguna perlu yakin bahwa kebijakan menyetujui permintaan yang benar dan memblokir yang lainnya.

“Wawasan utama kami adalah memulai kebijakan dari perilaku yang diamati daripada menulisnya dari awal,” katanya. Memulai dengan perilaku nyata dan mengedit berdasarkan pembelajaran dunia nyata ternyata jauh lebih efektif dibandingkan memulai dari halaman kosong.

Tim Brex membangun pembangun kebijakan (yang sendiri adalah lingkaran agensi) yang menjalankan agen yang mendasarinya dalam mode bayangan, menganalisis lalu lintas jaringan historis, mengambil sampel panggilan representatif, dan menyusun kebijakan dalam bahasa alami yang sesuai dengan apa yang sebenarnya dilakukan agen.

Dari sana, mereka membangun sistem evaluasi yang menguji perubahan kebijakan sebelum diterapkan. CrabTrap membandingkan entri audit historis dengan draf kebijakan dan melaporkan perubahan yang tepat untuk dilakukan. Pengguna bisa memecah hasil berdasarkan metode, URL, keputusan awal, dan status kesepakatan.

Semua ini berjalan dengan panggilan pengadil secara bersamaan, sehingga memutar kembali ribuan permintaan “hanya butuh beberapa menit, bukan berjam-jam,” kata Franceschi. Brex juga mengembangkan lingkaran umpan balik langsung: Jejak audit penuh disimpan dalam PostgreSQL dan dapat di-query melalui API admin dan dashboard. Dalam kasus di mana sumber daya terus ditolak, sistem dapat memberi tahu manusia atau agen untuk mengusulkan pembaruan kebijakan untuk ditinjau.

“Ini menutup lingkaran antara penolakan yang diamati dan penyempurnaan kebijakan,” ungkap Franceschi.

Tantangan dan Kendala Inti

Tentu saja, proses pembangunan ini tidak tanpa tantangan. Salah satu tantangan besar adalah latensi: “Menempatkan LLM antara agen dan setiap permintaan API keluar terdengar seperti akan memperlambat semuanya,” katanya.

Namun, ternyata itu tidak menjadi masalah sebesar yang diperkirakan. Ada dua alasan untuk ini: Pengadil LLM hanya diaktifkan pada sebagian kecil permintaan (yang telah disebutkan adalah 3%). Agen dengan cepat beradaptasi dengan pola lalu lintas yang dapat diprediksi; setelah teramati, pola volume tinggi menjadi aturan statis. Kedua, penggunaan model cepat kecil seperti Claude Haiku berarti bahkan saat pengadil aktif, tambahan latensi adalah “tidak signifikan.” Ini bisa lebih lanjut dikurangi dengan model lokal dan caching prompt, jelas Franceschi.

Tantangan yang lebih sulit dan kurang jelas adalah injeksi prompt, katanya. Pengadil menerima permintaan HTTP penuh dan semua kontennya berada di bawah kontrol pengguna, jadi mungkin saja, URL, header, atau isi permintaan yang dirancang bisa memanipulasi keputusan pengadil tersebut.

Brex mengatasi ini dengan menyusun permintaan sebagai objek JSON sebelum dikirim ke model, sehingga semua konten yang dikontrol pengguna “di-escape daripada diinterpolasi sebagai teks mentah,” kata Franceschi.

Hasil, dan Potensi Evolusi CrabTrap

Brex memantau beberapa faktor untuk mengukur dampak internal CrabTrap: Keterlibatan dengan agen, pola lalu lintas jaringan, dan net promoter scores (NPS). Hasil paling bermakna dari CrabTrap adalah “kepercayaan organisasi,” kata Franceschi.

Sebelumnya, tim merasa “sangat ragu” dalam menerapkan agen otonom secara luas dalam operasi bisnis, karena opsi pengaturan yang ada tidak memberikan jaminan yang cukup.

“CrabTrap mengubah perhitungan itu,” ungkap Franceschi. Mereka kini memiliki lapisan penegakan yang mereka percayai, meningkatkan kepercayaan dalam memperluas penerapan agen ke lebih banyak bagian bisnis dan mendelegasikan lebih banyak konfigurasi dan pengelolaan agen kepada pengguna.

Franceschi menggambarkan kebijakan yang dihasilkan dari lalu lintas sebagai “kekuatan mengejutkan.” Tim mengharapkan pembangun kebijakan menghasilkan “titik awal kasar” yang memerlukan pengeditan manual yang berat. Namun, dalam praktiknya, mengarahkan platform pada beberapa hari lalu lintas nyata menghasilkan kebijakan yang sesuai dengan penilaian manusia pada “sebagian besar permintaan yang ditahan.”

Selain itu, CrabTrap mengungkap berapa banyak kebisingan yang dihasilkan oleh agen. “Jejak audit membuat ini terlihat untuk pertama kalinya,” kata Franceschi. Mereka menggunakan log penolakan dan analisis lalu lintas tidak hanya untuk menyempurnakan kebijakan tetapi juga untuk memperketat agen itu sendiri, menghapus alat, dan memotong seluruh kategori permintaan yang membuang-buang waktu dan token.

“Proxy ini menjadi alat penemuan, bukan hanya alat penegakan,” tuturnya.

Area untuk Pertumbuhan (dan Masukan dari Komunitas Open-Source)

Brex memperkirakan CrabTrap akan terus berkembang, terutama setelah merilisnya sebagai open-source. “Kami berharap komunitas membantu membentuknya,” kata Franceschi.

Area peningkatan termasuk fungsionalitas autentikasi yang lebih mendalam, seperti single-sign on (SSO), kontrol akses berbasis peran (RBAC) yang lebih halus; alur kerja eskalasi yang memungkinkan agen meminta izin tambahan; dan rekomendasi kebijakan berdasarkan pola penolakan.

Konfigurasi programatik, atau pengembangan endpoint API untuk “menciptakan, fork, dan menerapkan” kebijakan pada agen, dapat memungkinkan seluruh siklus hidup kebijakan diotomatisasi daripada dikelola secara manual, kata Franceschi.

Adapun eskalasi, jika seorang agen terus-menerus ditolak akses ke sumber daya atau endpoint tertentu, seharusnya ia dapat mengarahkan permintaan kepada manusia atau agen AI lain untuk ditinjau dan mendukungnya dengan alasan mengapa ia memerlukan akses.

“Ini mengubah CrabTrap dari batas penegakan yang keras menjadi semacam sistem izin yang lebih terkelola,” tambah Franceschi.

Selanjutnya, kebijakan ini dibangun untuk memanfaatkan lalu lintas jaringan, tetapi ada peluang untuk memasukkan sinyal tambahan mengenai jejak agen dan panggilan sumber daya, serta konteks yang lebih luas tentang apa yang ingin dicapai oleh agen pada akhirnya. Ini dapat membantu menghasilkan kebijakan yang lebih akurat dan detail.

Akhirnya, ada “pertanyaan filosofis terbuka” tentang postur yang tepat untuk CrabTrap: Haruskah ini menjadi lapisan yang sepenuhnya transparan di mana agen itu sendiri tidak menyadari keberadaannya, atau seharusnya beroperasi lebih seperti “manajer yang beritikad baik”? (yaitu, agen mengetahui tentang lapisan dan bisa berinteraksi dengannya).

Komunitas open-source dapat membantu membentuk perkembangan ini, dan CrabTrap akan semakin baik dengan lebih banyak pengguna, kata Franceschi. Agen-agen Brex berbicara tentang seperangkat API tertentu; tim yang menggunakan CrabTrap dengan agen, layanan, dan persyaratan kebijakan yang berbeda akan mengungkap “kasus tepi dan pola yang tidak bisa kami temukan sendiri.”

“Kami memiliki rencana ambisius untuk ke mana ini bisa pergi, dan kami lebih memilih untuk membangun di ruang terbuka,” kata Franceschi.

Apa yang Dapat Dipelajari Pembuat Lain dari CrabTrap

Respon terhadap CrabTrap lebih kuat dari yang diharapkan. CrabTrap telah mendapatkan lebih dari 700 bintang di GitHub. Franceschi menyebutkan bahwa Brex juga telah mendengar dari OpenAI, CEO Y Combinator Garry Tan, dan programmer Pete Steinberger, semua menunjukkan minat untuk menerapkan infrastruktur internal serupa.

Pelajaran yang lebih luas: “Jangan biarkan kesenjangan infrastruktur menjadi alasan untuk menunggu,” nasihat Franceschi. Ada “penghalang nyata” bagi setiap perusahaan yang ingin serius menerapkan agen AI, termasuk kekhawatiran keamanan, kurangnya alat, atau batasan yang tidak jelas.

“Akan sangat menggoda untuk hanya menunggu sampai industri mengejar,” katanya. “Pelajaran dari CrabTrap adalah bahwa Anda bisa mengatasi masalah ini langsung.”