Agen AI Secara Tersembunyi Menyebabkan Kegagalan Rekayasa Chaos

fost-nepal.org – Sebuah kelompok insiden produksi muncul di kalangan tim teknik yang belum sepenuhnya tercatat, karena insiden ini tidak sesuai dengan template analisis pasca kejadian yang ada. Permasalahan ini terjadi ketika agen menginisiasi tindakan yang secara teknis benar namun dalam konteks yang tidak lengkap, menyebabkan infrastruktur mengalami cascading failure. Dalam tinjauan insiden, perdebatan muncul antara tiga tim yang berselisih pendapat tentang apakah ini adalah kegagalan agen atau infrastruktur, karena keduanya belum tersambung dalam kerangka pemikiran yang ada.

Saat ini, 79% organisasi telah menerapkan agen AI dalam produksi, dengan 96% berencana untuk memperluas penggunaan. Namun, Gartner memperingatkan bahwa 40% proyek agen AI dapat dibatalkan karena kurangnya kontrol risiko yang memadai. Meski demikian, tidak semua insiden terkait agen ini tercatat dengan baik, menyebabkan banyak tindakan agen yang berpotensi berbahaya tersembunyi dalam data yang tidak terklasifikasi.

Dalam enam tahun pengalamannya membangun sistem otomatisasi infrastruktur di perusahaan besar seperti Cisco dan Splunk, peneliti menemukan bahwa organisasi sering kali memisahkan disiplin chaos engineering dari agen otonom. Keduanya memiliki hubungan erat yang menimbulkan risiko besar dalam keadaan darurat. Ketika agen otonom bertindak tanpa penilaian manusia, tindakan tersebut dapat memicu bencana. Hal ini terlihat ketika agen menangkap lonjakan latensi dan memutuskan untuk me-restart layanan tanpa mempertimbangkan beban sistem lain yang tengah berjalan.

Berdasarkan penelitian yang dilakukan dengan praktisi SRE, sebuah model anggaran ketahanan telah dikembangkan, yang menganggap kapasitas serap sebagai sumber daya yang terus-menerus dievaluasi. Untuk mengelola tindakan agen secara lebih efektif, setiap tindakan agen harus diatur berdasarkan sinyal langsung yang sama yang mengatur eksperimen chaos. Audit dan pemetaan serta pengaturan batasan tindakan agen menjadi langkah penting untuk memastikan aksi agen tidak menimbulkan insiden besar di masa yang akan datang.