TEMPO.CO, Jakarta - Microsoft dan Nvidia ingin membantu pengembang menjalankan dan mengonfigurasi model AI pada PC Windows mereka. Selama acara Microsoft Ignite pada hari Rabu, 15 November 2023, Microsoft mengumumkan Windows AI Studio: sebuah hub baru di mana pengembang dapat mengakses model AI dan mengubahnya agar sesuai dengan kebutuhan mereka, sebagaimana dilaporkan The Verge, 15 November 2023.
Windows AI Studio memungkinkan pengembang mengakses alat dan model pengembangan dari Azure AI Studio yang ada dan layanan lain seperti Hugging Face. Ia juga menawarkan “penyiapan ruang kerja terpandu” end-to-end dengan UI konfigurasi model dan panduan untuk menyempurnakan berbagai model bahasa kecil (SLM), seperti Phi dari Microsoft, Llama 2 dari Meta, dan Mistral.
Windows AI Studio memungkinkan pengembang menguji kinerja model mereka menggunakan template Prompt Flow dan Gradio. Microsoft mengatakan akan meluncurkan Windows AI Studio sebagai ekstensi Visual Studio Code dalam minggu-minggu mendatang.
Nvidia juga mengungkapkan pembaruan pada TensorRT-LLM, yang awalnya diluncurkan perusahaan untuk Windows sebagai cara untuk menjalankan model bahasa besar (LLM) dengan lebih efisien pada GPU H100. Namun, pembaruan terbaru ini menghadirkan TensorRT-LLM ke PC yang ditenagai GPU Seri GeForce RTX 30 dan 40 dengan RAM 8 GB atau lebih.
Selain itu, Nvidia akan segera membuat TensorRT-LLM kompatibel dengan Chat API OpenAI melalui wrapper baru. Hal ini akan memungkinkan pengembang untuk menjalankan LLM secara lokal di PC mereka, yang ideal bagi mereka yang ingin menyimpan data pribadi di cloud.
Nvidia mengatakan peluncuran TensorRT-LLM 6.0 berikutnya akan menambahkan inferensi hingga lima kali lebih cepat, serta dukungan untuk model Mistral 7B dan Nemotron-3 8B yang baru.
Ini semua adalah bagian dari tujuan Microsoft untuk menciptakan pola pengembangan “hybrid loop”, yang diharapkan memungkinkan pengembangan AI di cloud dan secara lokal di perangkat. Dengan konsep ini, pengembang tidak perlu hanya mengandalkan sistem mereka sendiri untuk mendukung pengembangan AI, karena mereka dapat mengakses server cloud Microsoft untuk mengambil beban terberat pada perangkat mereka.
Selalu update info terkini. Simak breaking news dan berita pilihan dari Tempo.co di kanal Telegram “Tempo.co Update”. Klik https://t.me/tempodotcoupdate untuk bergabung. Anda perlu meng-install aplikasi Telegram terlebih dahulu.
