fost-nepal.org – Keputusan terbaru DeepSeek untuk memangkas harga model V4-Pro hingga 75% diharapkan menjadi kabar baik bagi pengembang dan vendor AI. Namun, kenyataannya justru menunjukkan bahwa model yang lebih murah tidak selalu berarti margin yang lebih sehat. Meskipun biaya inferensi menurun, sistem agen ternyata mengkonsumsi token dengan sangat cepat, melebihi penurunan harga.

Selama dua dekade terakhir, ekonomi perangkat lunak didominasi oleh fakta bahwa infrastruktur semakin murah, sementara aplikasi semakin canggih. Banyak yang memperkirakan bahwa AI juga akan mengikuti pola yang sama. Namun, asumsi tersebut kini mulai runtuh dengan pesat.

Sebuah chatbot biasanya mengubah satu pertanyaan pengguna menjadi satu panggilan model. Sebuah agen, di sisi lain, dapat mengubah pertanyaan tersebut menjadi serangkaian langkah yang kompleks, mengakibatkan biaya yang jauh lebih tinggi untuk setiap interaksi. Dengan penerapan agen yang meningkat, biaya inferensi dapat melebihi langganan bulanan dalam beberapa kasus, berpotensi mengakibatkan kerugian bagi vendor.

Situasi ini telah terangkat dalam laporan baru-baru ini yang menunjukkan kesenjangan antara demonstrasi produk dan kapabilitas yang sebenarnya. Salah satu contohnya adalah program yang diusulkan OpenAI untuk memberikan $2 juta dalam kredit API kepada startup, mencerminkan biaya tinggi yang diperlukan untuk menjalankan perusahaan berbasis AI pada tahun pertama.

Dengan adanya potensi pembengkakan biaya ini, perusahaan perlu melakukan penyesuaian strategi, seperti memantau dan membatasi biaya inferensi serta memperlakukan pengelolaan lalu lintas agen sebagai infrastruktur inti. Jika tidak, para pemimpin perusahaan akan menghadapi tantangan besar dalam mempertahankan profitabilitas di tengah meningkatnya penggunaan teknologi agen.