Brett Levenson, yang sebelumnya bekerja di Apple, pindah ke Facebook pada 2019 untuk memimpin integritas bisnis di tengah skandal Cambridge Analytica. Saat itu, dia berpikir masalah moderasi konten Facebook bisa diselesaikan dengan teknologi yang lebih baik.
Namun, Levenson segera menyadari bahwa masalah tersebut lebih dalam dari sekadar teknologi. Para peninjau manusia diharapkan untuk menghafal dokumen kebijakan sepanjang 40 halaman yang telah diterjemahkan mesin ke dalam bahasa mereka. Mereka hanya punya sekitar 30 detik untuk menentukan apakah konten yang dilaporkan melanggar aturan, serta langkah yang harus diambil: memblokir, melarang pengguna, atau membatasi penyebarannya. Menurut Levenson, keputusan cepat tersebut hanya “agak lebih baik dari 50% akurasi.”
Dia menggambarkan pengalaman ini ibarat melempar koin, untuk melihat apakah peninjau manusia bisa memahami kebijakan dengan benar, dan semua ini terjadi banyak hari setelah kerugian sudah terjadi.
Strategi reaktif semacam ini tidak bisa bertahan di dunia yang cepat dan dipenuhi aktor musuh yang terpendam. Munculnya AI chatbot hanya memperburuk masalah, ditambah dengan insiden-insiden terkenal, seperti chatbot yang memberikan panduan bunuh diri kepada remaja atau gambar yang dihasilkan AI yang lolos dari filter keamanan.
Frustrasi Levenson memicu ide “kebijakan sebagai kode” — cara mengubah dokumen kebijakan statis menjadi logika yang bisa dieksekusi dan diperbarui, yang terhubung secara erat dengan penegakan hukum. Insight ini melahirkan Moonbounce, yang baru-baru ini mengumumkan berhasil mengumpulkan dana senilai $12 juta. Pendanaan ini dipimpin oleh Amplify Partners dan StepStone Group.
Moonbounce bekerja sama dengan perusahaan untuk menambahkan lapisan keamanan di mana pun konten dihasilkan, baik oleh pengguna maupun oleh AI. Perusahaan ini telah melatih model bahasa besarnya sendiri untuk menganalisis dokumen kebijakan pelanggan, mengevaluasi konten secara real-time, memberikan respons dalam 300 milidetik atau kurang, dan mengambil tindakan. Tindakan ini bisa beragam, mulai dari memperlambat distribusi konten yang menunggu tinjauan manusia hingga langsung memblokir konten berisiko tinggi.
Saat ini, Moonbounce melayani tiga sektor utama: platform yang berurusan dengan konten yang dihasilkan pengguna seperti aplikasi kencan, perusahaan AI yang membangun karakter atau teman, dan generator gambar AI.
Levenson menyatakan bahwa Moonbounce mendukung lebih dari 40 juta ulasan harian dan melayani lebih dari 100 juta pengguna aktif setiap harinya. Pelanggannya termasuk startup pendamping AI seperti Channel AI, perusahaan generasi gambar dan video Civitai, serta platform permainan peran karakter seperti Dippy AI dan Moescape.
Dia juga menekankan bahwa “keamanan bisa jadi keuntungan produk.” Meskipun selama ini hal ini dianggap sebagai sesuatu yang dilakukan kemudian, kini banyak pelanggan mereka menemukan cara inovatif untuk menggunakan teknologi mereka demi menjadikan keamanan bagian dari cerita produk.
Baru-baru ini, seorang kepala kepercayaan dan keamanan di Tinder menjelaskan bagaimana platform kencan tersebut menggunakan layanan LLM untuk meningkatkan akurasi deteksi hingga 10 kali lipat.
“Moderasi konten selalu menjadi masalah yang membebani platform online besar, dan sekarang dengan LLM di jantung setiap aplikasi, tantangan ini semakin berat,” ujar Lenny Pruss, mitra umum di Amplify Partners. “Kami berinvestasi di Moonbounce karena kami membayangkan dunia di mana penghalang objektif dan real-time menjadi tulang punggung dari setiap aplikasi yang dimediasi AI.”
Perusahaan AI saat ini menghadapi tekanan hukum dan reputasi yang semakin meningkat setelah chatbot dituduh mendorong remaja dan pengguna rentan ke arah bunuh diri, dan generator gambar seperti Grok dari xAI digunakan untuk membuat gambar nude tanpa persetujuan. Ini jelas menunjukkan bahwa penghalang keamanan internal gagal, dan ini mulai menjadi masalah tanggung jawab.
Levenson menjelaskan bahwa perusahaan AI semakin mencari bantuan dari luar untuk meningkatkan infrastruktur keamanan mereka. “Kami adalah pihak ketiga yang duduk di antara pengguna dan chatbot, sehingga sistem kami tidak terbebani dengan konteks seperti yang terjadi dalam percakapan itu,” pungkasnya.
Levenson menjalankan perusahaan beranggotakan 12 orang ini bersama mantan rekan kerjanya di Apple, Ash Bhardwaj, yang sebelumnya membangun infrastruktur cloud dan AI berskala besar. Fokus berikutnya adalah kemampuan yang disebut “pengarahan iteratif,” yang dikembangkan sebagai respons terhadap kasus bunuh diri seorang remaja berusia 14 tahun di Florida yang terobsesi dengan chatbot Karakter AI. Sistem ini akan mengintersepsi percakapan dan mengarahkannya untuk memodifikasi prompt secara real-time, mendorong chatbot untuk memberikan respons yang lebih mendukung.
“Kami berharap dapat menambah toolkit tindakan kami untuk mengarahkan chatbot ke arah yang lebih baik, agar tidak hanya menjadi pendengar yang empatik, tetapi juga pendengar yang bisa membantu dalam situasi tersebut,” ujarnya.
Ketika ditanya apakah strategi keluarnya melibatkan akuisisi oleh perusahaan seperti Meta, Levenson mengakui bahwa Moonbounce akan sangat cocok dengan tumpukan teknologi bekas majikannya, sekaligus tanggung jawab fidusia yang diembannya sebagai CEO. “Investornya pasti akan marah jika saya mengatakan ini, tetapi saya tidak ingin melihat orang lain membeli kami dan membatasi teknologi ini,” ungkapnya.
