Metaが動画生成AI「Make A Video」発表、空飛ぶスーパードッグや自画像を描くテディベアの動画を公開

MetaのAI研究所「Meta AI」が、文字列(プロンプト)を入力するだけで動画を生成するAI「Make A Video」とその成果を発表しました。

Make-A-Video
https://makeavideo.studio/

Introducing Make-A-Video: An AI system that generates videos from text
https://ai.facebook.com/blog/generative-ai-text-to-video/

Meta AIは2022年7月に、プロンプトと簡単なイラストをもとにハイクオリティ画像を作れる「Make A Scene」を発表しています。

テキストの説明と超ざっくりしたイラストから高クオリティな画像を生成可能な「Make-A-Scene」をMetaが発表 - GIGAZINE

「Make A Video」は、この「プロンプトを画像に変換する」というText to Imageの技術をベースにしたもの。動きの学習はラベリングされていない、一般公開されているデータセットを利用しているとのことで、研究の透明性が確保されています。

サンプルでは、入力したプロンプトをもとに作られた動画のほか、画像をもとにして作られた動画も公開されています。

たとえば、以下の画像を入力すると……

このように船が進んでいくアニメーションが得られます。


複数の画像を入力することも可能。たとえば、以下の2枚を入力したとします。

すると小惑星が動きます。


また、動画を入力して新たな動画を生み出すこともできます。たとえば、宇宙飛行士がゆったりと宇宙遊泳している映像をベースにします。


同じようなシチュエーションの異なる動画が得られました。