TEMPO.CO, Jakarta - Perusahaan teknologi seperti OpenAI, Microsoft, dan Adobe telah meluncurkan chatbot AI yang didukung oleh jenis model bahasa besar (LLM) tertentu yang mengubah masukan teks menjadi gambar. Google juga tidak ketinggalan ikut terlibat dalam inovasi ini.

Belakangan, perusahaan yang berbasis di California, Amerika Serikat, ini mengambil langkah maju dengan merilis AI VideoPoet yang dapat mengubah teks menjadi video. Untuk menampilkan kemampuan VideoPoet, Google Research telah memproduksi film pendek yang terdiri dari beberapa klip pendek yang dihasilkan oleh model tersebut.

Cara bekerja VideoPoet

Dikutip dari Gadgets Now, Google mencontohkan cara menggunakan AI ini. Dalam skripnya, Bard diminta untuk menulis serangkaian petunjuk untuk merinci cerita pendek tentang rakun yang bepergian. Itu kemudian menghasilkan klip video untuk setiap perintah. Ketika model menggabungkan semua klip yang dihasilkan, model tersebut menyiapkan YouTube Shorts final.

“VideoPoet adalah metode pemodelan sederhana yang dapat mengubah model bahasa autoregresif atau model bahasa besar (LLM) menjadi generator video berkualitas tinggi,” kata Google.

VideoPoet memiliki beberapa komponen yang dilatih secara terpisah untuk tugas berbeda yang diintegrasikan ke dalam satu LLM. Ada tokenizer video MAGVIT V2 terlatih dan tokenizer audio SoundStream yang mengubah gambar, video, dan klip audio dengan panjang variabel menjadi rangkaian kode diskrit dalam kosakata terpadu.

Kode-kode ini kompatibel dengan model bahasa berbasis teks, memfasilitasi integrasi dengan modalitas lain, seperti teks. LLM mempelajari modalitas untuk memprediksi token video atau audio berikutnya dalam urutan.

“Campuran tujuan pembelajaran generatif multimodal diperkenalkan ke dalam kerangka pelatihan LLM, termasuk teks-ke-video, teks-ke-gambar, gambar-ke-video, kelanjutan bingkai video, pengecatan dan pengecatan video, stilisasi video, dan video- to-audio,” kata Google.

Pilihan Editor: YouTube Uji Fitur Ringkasan Video Menggunakan AI