fost-nepal.org – Sistem yang dikembangkan berhasil mengubah pertanyaan dalam bahasa alami menjadi panggilan API secara efisien. Pengguna yang terdiri dari analis, manajer akun, dan pimpinan operasional, seringkali menghadapi kesulitan dalam mengumpulkan data secara manual dari berbagai sumber. Dengan sistem baru ini, mereka cukup mengetik permintaan dalam bahasa Inggris biasa. Misalnya, permintaan untuk menyusun laporan mengenai volume penjualan di wilayah Timur Laut untuk periode Januari hingga Maret 2026 langsung diterjemahkan menjadi panggilan API.

Sejak pertengahan 2025, sistem ini mampu menghasilkan ratusan laporan setiap bulannya, yang kemudian digunakannya oleh pemimpin dan analis untuk berbagai keperluan. Integrasi dengan portal pelaporan internal dan Salesforce juga memperlancar proses ini. Namun, ketika sistem diperbarui ke versi Claude Sonnet 4.5, terjadi masalah signifikan. Beberapa panggilan API gagal diproses karena model tersebut mengabaikan parameter penting.

Dua masalah utama muncul: pertama, parameter filter tidak sampai ke API, sehingga panggilan dilakukan tanpa batasan yang diinginkan; kedua, model mulai memberikan pertanyaan klarifikasi dalam responsnya, sesuatu yang tidak disiapkan oleh sistem. Hal ini mengakibatkan sejumlah sistem yang bergantung pada output tersebut mengalami gangguan.

Hasil evaluasi menunjukkan bahwa kegagalan ini disebabkan oleh adanya asumsi yang salah tentang perilaku model. Meski tampaknya model telah mampu memenuhi spesifikasi sebelumnya, ternyata versi baru ini menunjukkan interpretasi yang berbeda. Dari pengalaman ini, penting untuk menyadari bahwa pembaruan tidak selalu berjalan mulus, dan perlunya pendekatan lebih ketat dalam menilai perubahan arsitektur sistem agar fungsionalitas tetap terjaga.