Alat AI yang dirusak tunjukkan kelemahan serius keamanan agen perusahaan

fost-nepal.org – Dalam dunia keamanan perangkat lunak, pentingnya integritas perilaku dalam registri alat semakin diakui. Isu ini terungkap ketika seorang peneliti mengajukan masalah terkait potensi kerentanan dalam penggunaan deskripsi alat yang tidak diverifikasi. Registri ini memungkinkan agen kecerdasan buatan (AI) memilih alat berdasarkan deskripsi tersebut, namun tidak ada verifikasi untuk memastikan kebenarannya.

Dalam pengembangannya, masalah ini dibagi menjadi dua kategori: ancaman saat pemilihan alat dan ancaman pada saat alat dijalankan. Beberapa teknik pertahanan yang telah ada, seperti tanda tangan kode dan pemantauan rantai pasokan perangkat lunak, dianggap belum cukup untuk mengatasi masalah integritas perilaku.

Contohnya, alat yang terdaftar dapat dikecewakan dengan memasukkan instruksi berbahaya dalam deskripsi yang tidak terdeteksi oleh kontrol integritas artefak. Ini menimbulkan risiko perilaku menyimpang setelah alat dipublikasikan, yang membuat kontrol yang ada perlu diadaptasi.

Salah satu solusi yang diusulkan adalah memanfaatkan proxy verifikasi, yang berfungsi sebagai penghubung antara agen dan server alat. Proxy ini akan memvalidasi kesesuaian alat yang digunakan dengan spesifikasi perilaku yang disetujui sebelumnya, serta memantau koneksi jaringan selama eksekusi. Ini bertujuan untuk meningkatkan keamanan dan mencegah serangan bait-and-switch.

Langkah pengimplementasian dapat dimulai dengan penggunaan daftar izin titik akhir, yang merupakan perlindungan paling dasar dan mudah. Selanjutnya, validasi skema keluaran perlu ditambahkan untuk mendeteksi anomali. Pemantauan perilaku lebih lanjut harus diterapkan pada kategori alat berisiko tinggi. Pendekatan bertahap ini menawarkan solusi untuk menjawab tantangan yang terus berkembang dalam keamanan alat AI.