Meta има нова система с AI за генериране на реалистични клипове дори от една снимка

В края на миналата седмица Meta пусна преглед на Movie Gen, нов пакет от модели с изкуствен интелект, който може да създава и манипулира видео, звук и изображения. Това включва създаването на реалистично изглеждащи клипове дори от една единствена снимка на човек. Компанията твърди, че моделите превъзхождат други решения за видеосинтез, когато се оценяват от хора.

Все още няма планове кога или как тези възможности ще достигнат до потребителите. Компанията предвижда бъдещи приложения, като например лесно създаване и редактиране на видеоклипове за социалните мрежи или генериране на персонализирани анимирани поздравления за рожден ден.

Movie Gen надгражда предишната работа на Meta в областта на видеосинтеза, следвайки Make-A-Scene от 2022 г. и модела за синтез на изображения Emu. Използвайки текстови подсказки за напътствия, тази най-нова система може за първи път да генерира персонализирани видеоклипове със звуци, да редактира и вмъква промени в съществуващи видеоклипове и да трансформира изображения на хора в реалистични персонализирани видеоклипове.

Моделът за генериране на видео на Movie Gen може да създава видеоклипове с висока разделителна способност до 1080p с дължина до 16 секунди при 16 кадъра в секунда от текстови описания или подадено изображение. Meta твърди, че моделът може да се справя със сложни концепции като движение на обекти, взаимодействие между субекти и обекти и движения на камерата.

Говорейки за данни за обучение, Meta казва, че е обучила тези модели върху комбинация от лицензирани и публично достъпни набори от данни, които много вероятно включват видеоклипове, качени от потребители на Facebook и Instagram през годините.

Meta нарича една от ключовите функции на Movie Gen персонализирано създаване на видео, но за нея има друго име, което е известно от 2017 г.: deepfake. Технологията на дълбоките фалшификати предизвиква тревога сред някои експерти, тъй като може да се използва за симулиране на автентични записи от камери, карайки хората да изглеждат, че правят неща, които всъщност не са правили.

Meta показа и компонент за редактиране на видео в Movie Gen, който позволява прецизни модификации на съществуващи видеоклипове въз основа на текстови инструкции. Той може да извършва локални редакции, като добавяне или премахване на елементи, както и да прави глобални промени, като например промяна на фона или цялостния стил.

Компанията въвежда звуков синтез във видео с изкуствен интелект благодарение на отделен модел за генериране на звук, който може да създава околен звук, звукови ефекти и инструментална фонова музика, синхронизирана с видеосъдържание от текстови подсказки.