Meta Umumkan Movie Gen, AI untuk Bikin Video dan Audio dari Teks

Beritasaja.com - mengumumkan alat kecerdasan buatan generatif (generative /) untuk membuat video dari perintah teks bernama , pada Jumat (4/10/2024).

Meta Movie Gen menjadi pesaing Sora dari OpenAI dan Veo dari Google.

Seperti di Sora dan Veo, pengguna yang ingin membuat video cukup mengetikkan teks instruksi (prompt).

Selain itu, pengguna juga bisa menyulap foto pengguna menjadi video, mengedit video yang sudah ada, dan membuat audio baru.

AI pembuat video dan audio ini diklaim dilatih dari kombinasi data yang sudah berizin serta tersedia untuk umum.

Video yang dibuat menggunakan AI ini akan memiliki keterangan "Imagined with AI" alias dibuat dengan AI.

Untuk pembuatan , Meta Movie Gen menggunakan model transformer (jaringan neural untuk memproses data teks atau suara/speech) dengan 30 miliar parameter.

Model transformer ini mampu membuat video berdurasi 16 detik dengan frame rate 16 fps.

Contoh video tersebut bisa dilihat dalam posting akun AI at Meta di media sosial X (dahulu Twitter), tepatnya pada detik ke-2.

Baca juga:

More examples of what Meta Movie Gen can do across video generation, precise video editing, personalized video generation and audio generation.

Pengguna bisa menuliskan perintah seperti "Koala berwarna abu-abu dan putih sedang berselancar di laut dengan papan selancar berwarna kuning", dan Meta Movie Gen akan secara akurat mengubah teks tersebut menjadi video pendek.

Selain itu, pengguna bisa menggunakan foto selfie-nya sendiri, kemudian menambahkan keterangan teks seperti "DJ perempuan yang mengenakan jaket merah jambu sedang memutar rekaman musik di samping hewan citah."

Pengguna bisa mengedit video penguin dengan menambahkan pakaian era Victoria, payung dan kursi pantai, serta mengubah gaya (artstyle) video tersebut menjadi sketsa pensil.

Kemampuan Meta Movie Gen dalam membuat audio juga bisa dilihat dalam video tersebut.

Pengguna bisa menuliskan teks "Mesin motor ATV yang sedang diakselerasi, ditemani musik gitar," dan Movie Gen akan membuat audio instrumental berdurasi 45 detik.

Pembuatan audio ini dimungkinkan oleh model pembuat audio (audio generation) dengan 13 miliar parameter.

Meta Movie Gen mungkin memiliki kemiripan seperti alat AI generatif bikinan perusahaan OpenAI, Sora.

Akan tetapi, teknis kedua alat AI ini berbeda.

Sebab, Movie Gen mengombinasikan semua data (modal) bikinan Meta, termasuk Make-A-Scene yang digunakan untuk membuat animasi tiga dimensi (3D), gambar, audio, video, serta model Llama Image yang memungkinkan pembuatan gambar dan video dengan kualitas lebih tinggi.

Adapun Make-A-Scene merupakan alat AI gelombang pertama Meta, diikuti oleh Llama Image, dan kini disusuli Movie Gen yang merupakan alat AI gelombang ketiga Meta.

Gabungan alat AI Meta