Saat teknologi AI perusahaan mulai diterapkan secara luas, banyak organisasi yang menghadapi tantangan baru terkait keandalan. Banyak tim yang menyadari bahwa performa LLM tidak cukup untuk memastikan kesuksesan agen AI di dunia nyata. Proses AI yang berjalan lama harus beradaptasi dengan kondisi seperti crash, memelihara status, memulihkan dari kegagalan, mengelola biaya inferensi, dan berkoordinasi dengan berbagai API, alat, dan sistem perusahaan.
Setelah gelombang pertama fokus pada penerapan cepat, organisasi kini perlu meninjau kembali implementasi generasi awal dan mendesain ulang arsitektur agen mereka dengan fokus pada orkestrasi alur kerja, observabilitas, tata kelola, dan pemulihan. Hal ini disampaikan oleh Preeti Somal, Senior VP Engineering di Temporal Technologies, dalam acara AI Impact Series terbaru di New York.
Kami banyak mendapatkan pelanggan yang sedang membangun versi 2.0 dari agen yang sama, ungkap Somal. Mereka harus bergerak cepat, tetapi banyak yang tidak memperhatikan pondasi yang tepat. Ketika terjadi crash, mereka harus kembali membangun dari awal dengan fondasi yang lebih dapat diandalkan.
Bagi perusahaan seperti Temporal yang fokus pada orkestrasi alur kerja, perubahan ini mencerminkan kesadaran yang lebih luas dalam perusahaan: sistem AI produksi perlu memiliki eksekusi yang tahan lama, manajemen status, visibilitas alur kerja, dan mekanisme pemulihan saat model atau sistem hulu mengalami kegagalan.
Agen AI memacu masalah rekayasa yang sudah dikenal
“Polanya tidak sepenuhnya baru,” kata Somal. “AI hanya membuatnya semakin kompleks.”
Sistem agen menambah kompleksitas karena seringkali melibatkan proses panjang yang terdiri dari beberapa langkah yang melibatkan banyak layanan, model, API, dan alat. Sebuah alur kerja bisa memanggil beberapa model bahasa besar, mengakses sistem pemulihan, memicu aplikasi eksternal, dan mengelola status selama berjam-jam atau bahkan berhari-hari. Pertanyaan rekayasa, menurut Somal, sering muncul hanya setelah proses diterapkan.
“Orang akan membuat agen tetapi belum berpikir tentang apa yang terjadi jika agen tersebut crash,” ujarnya. “Apakah saya perlu menjalankan seluruh alur agen lagi?”
Bagi perusahaan yang beroperasi di bawah batasan biaya, jawaban ini sangat penting. Mengulang alur kerja setelah kegagalan dapat meningkatkan biaya inferensi, memperpanjang latensi, dan menciptakan pengalaman buruk bagi pelanggan.
Somal membandingkan momen ini dengan periode sebelumnya saat adopsi cloud perusahaan, di mana organisasi langsung melakukan migrasi beban kerja tanpa mempertimbangkan bahwa mereka perlu meredesain arsitektur dasar untuk memastikan beban kerja tersebut dapat bertahan dalam jangka panjang.
“Kecenderungan terburu-buru untuk menerapkan AI tanpa memodernisasi aplikasi terlebih dahulu mirip dengan proses lift-and-shift yang terjadi di cloud,” ujarnya. “Semua orang menyadari mereka mengeluarkan lebih banyak uang untuk cloud tetapi belum mendapatkan nilai dari situ.”
Kenapa agen yang berjalan lama memaksa arsitektur baru
Alur kerja di perusahaan semakin melibatkan agen yang menjalankan tugas dalam jangka waktu panjang, kadang-kadang hingga berjam-jam sambil berinteraksi dengan alat dan sistem lainnya. Tantangan keandalan semakin bertambah ketika alur kerja diperpanjang, yang berdampak pada status dan memori, dua konsep yang sering dianggap sama dalam pembicaraan tentang AI.
Masalah status berkaitan dengan eksekusi alur kerja. Ini mencakup posisi agen dalam suatu proses, tindakan mana yang sudah diselesaikan, dan di mana pemulihan harus dilanjutkan setelah kegagalan. Memori atau konteks menangkap informasi yang dibawa agen dalam setiap interaksi atau tugas.
“Status agen berkaitan dengan langkah dan tindakan yang sudah dilakukan, dan jika terjadi kegagalan, dari mana Anda ingin memulihkannya, dibandingkan dengan konteks dan memori,” jelas Somal.
Pemisahan ini menjadi penting ketika perusahaan mulai bergerak dari interaksi chatbot sederhana ke proses bisnis yang lebih panjang. Somal memberikan contoh dari perusahaan kesehatan Abridge, di mana alur kerja memproses kunjungan dokter melalui beberapa tahap, termasuk pengolahan audio, ringkasan, pemanggilan model, dan pembuatan laporan setelah kunjungan.
“Tidak hanya ada satu bagian dalam alur tersebut,” kata Somal. “Mengambil video dan memotongnya, membuat ringkasan, memanggil LLM, dan menghasilkan ringkasan setelah kunjungan, semua itu harus diorkestrasi.”
Implikasinya bagi perusahaan adalah bahwa agen yang sukses semakin bergantung pada sistem yang dapat bertahan dari gangguan, berkoordinasi antar layanan, dan mempertahankan kontinuitas dalam waktu yang lama.
Munculnya kerangka kerja deterministik
Salah satu kerangka kerja yang berguna untuk desain AI perusahaan adalah kerangka deterministik, kata Somal, yang mencerminkan peran Temporal.
“Ini menunjukkan jalur yang ingin Anda ambil,” ujarnya. “Ini memanggil otak, tetapi jika otak tidak merespons, maka akan memanggilnya lagi. Jika otak merespons tetapi langkah berikutnya diperkirakan gagal, itu akan melanjutkan dari titik kegagalan tersebut.”
Dalam kerangka ini, model bahasa bertindak sebagai sistem probabilistik yang menghasilkan keluaran bervariasi, sementara perangkat lunak orkestrasi menjaga keandalan eksekusi di sekitarnya. Konsep ini penting karena sistem perusahaan semakin membutuhkan konsistensi meskipun model tetap non-deterministik. Alur pengadaan, ringkasan kesehatan, eskalasi dukungan pelanggan, atau proses kepatuhan tidak bisa gagal diam-diam hanya karena panggilan model yang timeout atau ketergantungan eksternal mengalami kesalahan.
“Apa yang paling Anda perhatikan adalah memastikan bahwa Anda bisa memulihkan kembali dan tidak membayar pajak token jika sesuatu salah,” kata Somal.
Keandalan, visibilitas, dan ekonomi pengeluaran token
Ketika para pemimpin perusahaan mengevaluasi ROI AI, visibilitas biaya menjadi perhatian yang semakin mendesak. Agen yang berjalan lama sering membuat beberapa panggilan model di seluruh alur kerja yang kompleks, yang dapat menciptakan pola pengeluaran yang tidak transparan. Somal menjelaskan satu keuntungan operasional dari orkestrasi adalah visibilitas ke mana biaya terkumpul. Karena alur kerja dapat dilihat langkah demi langkah, tim dapat melihat di mana token dikonsumsi selama proses agen.
“Anda memiliki visibilitas ke seluruh alur dalam satu tampilan,” katanya. “Sekarang Anda dapat melihat di mana Anda menghabiskan token dalam agen yang melibatkan beberapa langkah dan memanggil berbagai sistem.”
Pemulihan alur kerja juga membentuk efisiensi biaya. Tanpa orkestrasi yang tahan lama, kegagalan di tahap akhir dapat memaksa organisasi untuk mengulangi seluruh proses dari awal, termasuk semua panggilan model sebelumnya. Somal mengatakan sistem yang dirancang untuk pemulihan dapat melanjutkan eksekusi dari titik gangguan.
“Anda melanjutkan dari titik di mana kegagalan terjadi,” ujarnya. “Kami menghemat biaya untuk menjalankan agen dari langkah satu lagi.”
Perusahaan perlu membangun jalur yang terstruktur dan menggandeng ahli mitra
Pertimbangan tata kelola adalah pola lain yang muncul seiring dengan berkembangnya AI agen. Alih-alih mengadopsi sistem agen sepenuhnya yang dikelola, Somal mengatakan perusahaan semakin ingin membangun kerangka kerja internal yang terstandarisasi yang memberikan pedoman sambil tetap mempertahankan fleksibilitas, serta menerapkan fitur penting seperti kontrol tata kelola, kebijakan pemilihan model, sistem identitas, pengelolaan biaya, dan observabilitas.
“Perusahaan sedang melihat untuk membangun jalur terstruktur ini,” ujarnya. “Mengambil sesuatu yang siap pakai mungkin tidak akan efektif karena ada semua persyaratan lainnya.”
Ketika organisasi meninjau kembali penerapan generasi pertama, tantangan seperti ini semakin terlihat tidak hanya sebagai masalah model, tetapi lebih sebagai masalah rekayasa sistem. Temporal berposisi untuk membantu perusahaan mengambil langkah selanjutnya, sebagian karena bagi banyak organisasi, mereka telah ada sebagai bagian dari program modernisasi yang lebih luas sebelum AI menjadi prioritas strategis.
“Temporal sudah ada di perusahaan,” kata Somal. “Mengambil itu dan memperluasnya ke AI dan platform agen terasa sangat natural.”
