DeepSeek Luncurkan DSpark, Kerangka Baru Mempercepat Inferensi LLM

fost-nepal.org – DeepSeek telah meluncurkan DSpark, sistem baru yang bertujuan untuk meningkatkan kecepatan respon model bahasa besar (LLMs) tanpa mengubah makna dari konten yang dihasilkan. Peluncuran ini terjadi di tengah ketegangan geopolitik seputar regulasi AI, terutama terkait tindakan pemerintah Amerika Serikat terhadap perusahaan-perusahaan seperti Anthropic dan OpenAI.

DSpark dirancang untuk menyelesaikan salah satu tantangan terbesar dalam penerapan AI, yaitu memberikan layanan model besar dengan cepat dan efisien. Sistem ini bekerja dengan cara mengizinkan model untuk “menebak” langkah-langkah berikutnya dalam proses menghasilkan teks, mirip dengan cara editor senior menyetujui kalimat yang disarankan oleh penulis. Hal ini bertujuan untuk mengurangi waktu yang dibutuhkan tanpa mengurangi kualitas keluaran.

Dalam pengujian, DSpark menunjukkan peningkatan throughput sebesar 51% untuk model DeepSeek-V4-Flash dan 52% untuk DeepSeek-V4-Pro, mencapai kecepatan generasi 80 hingga 35 token per detik per pengguna. Peningkatan ini menunjukkan bahwa DSpark tidak hanya efisien tetapi juga relevan untuk teknologi yang banyak digunakan dalam industri, termasuk chatbot dan asisten pemrograman.

DSpark juga dapat diterapkan pada model open weight lainnya, seperti Qwen dan Gemma, yang memungkinkan tim pengembangan untuk melatih atau menyempurnakan modul yang sesuai dengan model target. Selain itu, DeepSeek telah menyediakan dokumentasi teknis yang lengkap, yang memungkinkan pengembang untuk melatih dan mengevaluasi model draft.

Dengan rilis DSpark, perusahaan akan memperoleh cara untuk mendorong performa tanpa harus meningkatkan ukuran model yang mereka gunakan. Hal ini menunjukkan bahwa inovasi dalam pengelolaan dan penerapan model AI bisa sangat berpengaruh dalam menciptakan efisiensi dalam layanan AI yang lebih baik.