fost-nepal.org – Peneliti dari Universitas Peking, Akademi Zhongguancun, dan Institut Penelitian Algoritma Lanjutan Shanghai telah mengembangkan DataFlow-Harness, sebuah kerangka kerja sumber terbuka yang memungkinkan agen AI untuk membangun alur kerja pemrosesan data secara terstruktur dan visual. Inovasi ini muncul sebagai solusi untuk masalah yang banyak dihadapi saat menggunakan model bahasa besar (LLMs) dalam membangun sistem pemrosesan data yang kompleks.

DataFlow-Harness dirancang setelah mengidentifikasi kesenjangan dalam kemampuan LLMs, di mana mereka sering kali menghasilkan kode tak terstruktur yang sulit diaudit dan diintegrasikan ke dalam sistem yang sudah ada. Dengan kerangka kerja ini, proses pembuatan alur kerja dapat dilakukan langkah demi langkah, sehingga menghasilkan artefak yang mudah dikelola dan dapat diedit. Dalam pengujian, platform ini menunjukkan tingkat keberhasilan end-to-end sebesar 93,3% pada benchmark 12 tugas teknik data.

Edang didefinisikan oleh para peneliti, kesenjangan ini, yang mereka sebut sebagai “NL2Pipeline gap”, menggambarkan kesulitan dalam menghubungkan kebutuhan alur kerja yang diungkapkan dalam bahasa alami dengan aset pipeline yang diperlukan dalam lingkungan produksi. Hal ini mengeksplorasi tantangan yang dihadapi agen AI dalam menyesuaikan kode yang dapat diproduksi dengan komponen yang ada dalam infrastruktur.

Keberhasilan DataFlow-Harness menunjukkan pengurangan biaya API hingga 72,5%, serta peningkatan kecepatan hingga 49,9% dibandingkan dengan aplikasi lain dalam habitat yang sama. Penemuan ini memungkinkan tim perusahaan untuk memanfaatkan otomatisasi AI tanpa menimbulkan utang teknik yang tidak terkendali, serta memastikan bahwa semua pipeline tetap aman dan dapat diaudit. Diharapkan inovasi ini dapat merevolusi pemrosesan data di berbagai sektor industri, membawa efisiensi dan kehandalan lebih tinggi.