AT&T Rethink Orkestrasi AI untuk Hemat Biaya 90% Setiap Hari

fost-nepal.org – AT&T menghadapi tantangan skalabilitas yang signifikan dengan penggunaan token harian yang mencapai 8 miliar. Menghadapi masalah ini, Chief Data Officer Andy Markus bersama timnya mengembangkan asisten pribadi internal bernama Ask AT&T. Mereka merekayasa ulang lapisan orkestrasi dengan membangun tumpukan multi-agen yang memanfaatkan LangChain, di mana “super agen” berbasis model bahasa besar mengarahkan agen “pekerja” yang lebih kecil untuk mengerjakan tugas yang lebih terfokus. Penyesuaian ini diklaim mampu mengurangi biaya hingga 90% dan meningkatkan kecepatan serta responsivitas.

Markus menambahkan bahwa mereka menggunakan Microsoft Azure untuk meluncurkan Ask AT&T Workflows, alat visua drag-and-drop yang memungkinkan karyawan mengotomatisasi tugas. Sistem ini menggunakan berbagai alat proprietary dari AT&T, termasuk pemrosesan dokumen dan analisis citra. Proses ini tetap diawasi oleh manusia untuk memastikan setiap tindakan agen tercatat dan berjalan dengan aman.

Dengan lebih dari 100.000 karyawan yang memanfaatkan Ask AT&T Workflows, lebih dari setengah dari mereka melaporkan peningkatan produktivitas hingga 90%. Markus menjelaskan bahwa alat ini menawarkan dua cara bagi pengguna: pro-code dan no-code, dengan banyak pengguna terampil memilih antarmuka no-code yang lebih sederhana.

Tidak hanya itu, Markus juga menerapkan prinsip “AI-fueled coding” yang mengubah cara AT&T menulis kode. Dengan metodologi ini, proses pengkodean menjadi lebih efisien, menghasilkan kode berkualitas produksi dalam waktu singkat. Penggunaan teknologi ini berhasil mengurangi waktu pengembangan, memungkinkan tim untuk menciptakan produk data internal dalam waktu 20 menit, dibandingkan enam minggu tanpa AI. Keberhasilan ini menunjukkan potensi besar penggunaan AI dalam meningkatkan efisiensi operasional di AT&T.