Yandex Kenalkan YaFSDP, Alat Pelatihan Pembelajaran Mesin model LLM yang Bisa Hemat Sumber Daya GPU

AKURAT.CO Yandex, sebuah perusahaan teknologi global, baru-baru ini meluncurkan YaFSDP, sebuah metode open-source untuk melatih model machine learning bahasa atau LLM (Large Language Model) yang memungkinkan AI generatif untuk berinteraksi dengan pengguna secara real-time.

Saat ini, YaFSDP merupakan metode paling efektif dalam melatih LLM dibanding metode Fully Sharded Data Parallel (FSDP) lainnya yang tersedia di publik karena mampu meningkatkan efektivitas komunikasi graphics processing unit (GPU) dan mengurangi penggunaan memori.

Perlu diketahui bahwa FSDP merupakan metode pelatihan LLM yang menggunakan sejumlah unit processing untuk mengolah data secara paralel. Dengan YaFSDP, kecepatan bisa ditingkatkan hingga 26% dibandingkan dengan FSDP biasa, tergantung pada arsitektur dan jumlah parameter. Sehingga, waktu pelatihan untuk LLM bisa dikurangi sekaligus menghemat penggunaan sumber daya GPU hingga 20%.

Sebagai bagian dari komitmennya untuk berkontribusi pada komunitas artificial intelligence (AI) global, Yandex membuat YaFSDP tersedia untuk umum bagi para pengembang LLM dan penggemar AI di seluruh dunia. “Saat ini, kami secara aktif bereksperimen dengan berbagai model arsitektur dan ukuran parameter untuk memperluas manfaat dari YaFSDP,” kata Mikhail Khruschev, Senior Developer Yandex dan Tim YaFSDP.

“Kami sangat senang bisa berbagi perkembangan terbaru dalam pelatihan LLM dengan komunitas machine learning (ML) global. Besar harapan kami ini bisa berkontribusi pada peningkatan aksesibilitas dan efisiensi bagi para peneliti dan pengembang AI generatif di seluruh dunia,” jelas Mikhail.

Saat ini, engineer atau insinyur serta peneliti Indonesia sedang fokus pada pengembangan LLM untuk penggunaan di sektor publik, administrasi pemerintahan dan pertahanan, termasuk sektor keuangan dan asuransi. Kementerian Komunikasi dan Informatika telah bekerjasama dengan AI Singapore, sebuah program nasional Pemerintah Singapura dalam pengembangan AI, untuk membuat LLM open-source dalam Bahasa Indonesia.

Di sektor keuangan, pelaku industri perbankan telah menggunakan LLM untuk penyelenggaraan layanan chatbot dalam Bahasa Indonesia dan bahkan sejumlah bahasa daerah agar bisa meningkatkan kualitas customer service, marketing dan sales. YaFSDP dibuat dengan tujuan untuk mendukung engineer atau insinyur dan peneliti Indonesia dalam upaya mempercepat pengembangan kegunaan LLM dengan menyediakan metode open-source yang bisa meningkatkan optimalisasi pemanfaatan jaringan, mengurangi beban memori sekaligus menurunkan biaya pelatihan LLM melalui pengurangan kebutuhan sumber daya komputasi.

Mikhail menuturkan pelatihan LLM merupakan proses yang memakan waktu dan menggunakan sumber daya besar sekaligus intensif. Engineer atau insinyur yang mendalami pembelajaran mesin dan perusahaan yang mengembangkan sendiri LLM-nya perlu investasi besar untuk waktu dan sumber daya GPU dalam melatih model pembelajaran mesinnya. Tentu ini akan memakan biaya yang tidak sedikit.

"Semakin besar modelnya, semakin besar pula waktu dan biaya yang dibutuhkan untuk pelatihannya. YaFSDP Yandex bekerja dengan menghilangkan inefisiensi komunikasi GPU, memastikan bahwa pelatihan hanya membutuhkan memori prosesor yang diperlukan dan membuat interaksi GPU tidak terganggu. YaFSDP mengoptimalkan kecepatan dan kinerja pembelajaran, memungkinkan pengembang AI di seluruh dunia untuk menggunakan lebih sedikit daya komputasi dan sumber daya GPU saat melatih model mereka," pungkas Mikhail.