Optimalkan Anggaran Komputasi AI Anda untuk Inference

fost-nepal.org – Penelitian terbaru dari Universitas Wisconsin-Madison dan Universitas Stanford mengemukakan panduan baru dalam pengembangan model bahasa besar (LLM), yang dikenal sebagai hukum skala Train-to-Test (T²). Hukum ini bertujuan untuk mengoptimalkan biaya pelatihan sekaligus memperhatikan biaya inferensi, aspek yang sering diabaikan. Dalam konteks ini, penggunaan teknik pengambilan sampel ganda saat inferensi menjadi penting untuk meningkatkan akurasi model.

Hukum T² mengusulkan pendekatan baru yang menggabungkan ukuran parameter model, volume data pelatihan, dan jumlah sampel inferensi dalam satu formula optimasi. Hal ini menunjukkan bahwa model yang lebih kecil, yang dilatih dengan lebih banyak data, dapat memberikan performa yang lebih baik dibandingkan model yang lebih besar, terutama dalam aplikasi yang memerlukan pengambilan sampel berulang. Penelitian ini dirancang untuk para pengembang aplikasi AI yang ingin memaksimalkan investasi mereka tanpa harus mengeluarkan biaya besar untuk model canggih.

Sejalan dengan itu, hukum pengambilan sampel di waktu pengujian yang berbeda dari hukum skala pelatihan menjadi tantangan tersendiri. Dalam prakteknya, banyak pengembang yang terjebak dalam aturan tradisional yang sering tidak efisien. Nicholas Roberts, salah satu peneliti, mengungkapkan bahwa metode konvensional sering kali tidak sesuai untuk alur kerja yang kompleks.

Melalui serangkaian eksperimen pada lebih dari 100 model bahasa, penelitian ini membuktikan efektivitas dari hukum T² dalam memaksimalkan anggaran komputasi di waktu pengujian. Mereka menemukan bahwa model kecil yang sangat terlatih mampu mengungguli model besar dalam hampir semua tugas evaluasi. Penelitian ini tidak hanya membuka jalan bagi pengembang untuk menerapkan temuan ini, tetapi juga akan menyediakan checkpoint dan kode sumber untuk mempermudah adopsi oleh industri.

Di tengah biaya tinggi dari model-model canggih, pendekatan ini menawarkan solusi yang lebih efisien dan relevan bagi pengembang. Hukum T² dapat menjadi terobosan dalam pengembangan model reasoning yang lebih kuat tanpa harus terbebani biaya pelatihan yang mahal.