Runway AIから、動画生成AIのGen-3 Alphaのアップデートのアナウンスがありました。これまでのテキストベースの動画生成機能に加えて、新しくImage to Video機能をサポートするようになっています。早速試してみましたので、実際の生成結果も交えながら紹介していきたいと思います。
Gen3 Alphaに関する使い方については下記記事でまとめていますので、こちらの記事もご覧下さい。
Image to Video機能とは？
7月30日の最新アップデートにより、Gen-3 Alphaにおいて新しくImage to Video機能をサポートするようになっています。この機能はStandard、Pro、Unlimited、Enterpriseの各プランにて利用することが可能で、以前と変わらず動画生成にはサブスクリプションが必要です。
今回導入された機能の特徴は、大きく下記の2点が挙げられます。
1. 画像をアップロードして動画生成
アップロードした画像を最初の1フレームとして動画を生成することが出来ます。他の動画生成AIでは備わっている機能なので、前々から追加が待たれていた機能ですね。画像を起点にして動画化されるので、元々抱いているイメージと合いやすいことが大きなメリットだと思います。
これまでのテキストプロンプトを用いた動画生成と同じインターフェースの中で使用可能なので、利用方法も簡単です。
2. キャラクターや配置の一貫性が向上
また、生成ごとに一貫したキャラクターや場所、シーンの配置を探索するために、さらに高度な制御を提供しているとのことが、Runway AIからのメールによると記載があります。実際に生成してみてもキャラクターの一貫性が高くなっているように感じるので、より一貫したストーリーの動画を実現出来る点にもメリットがあるのではないかと思います。
Image to Video機能の使い方
それでは、実際の使い方について説明します。今回はスマホ版のキャプチャ画像を使いながら説明します。
まずTry nowからGen 3 Alphaに入ると、画面上部に画像アップロード画面がでてきます。ここで、画像をアセットから選択するか、アップロードして指定することが可能です。
ちなみに動画生成出来るサイズは限定されているようで、下記のような画像は1280×768にトリミングが必要でした。
アップロードした後は、任意でテキストプロンプトを併用して入力することも可能です。また、設定から動画時間を今まで通り選択することができ、5秒ないしは10秒とすることが出来ます。動画時間によって、消費するクレジットが異なることもこれまでと同じになります。
その後、「Generate」ボタンをクリックして待機していれば動画が完成します。生成に必要な時間はテキストからの生成と大きく変わらず、時間帯にもよりますが概ね1分程度掛かりました。
保存先は今までと同じく、アセットになりますので、後から開いて確認したりダウンロードすることが可能です。
生成結果の事例
それでは実際にImage to Video機能を用いて幾つか生成してみた結果を紹介していきます。
1. リアルな女性の画像からの動画生成
こちらはChatGPTにて生成した画像を元にして、テキストプロンプトなしで生成したものです。
元々の人物の印象を保ちながら、髪の毛や目の動きが自然に動いています。背景の移り変わりも自然で、一貫性が高いというのは頷けます。
2. アニメ風キャラクターからの動画生成
アニメ風の動画でも可能です。こちらもChatGPTを用いた画像からを元にして動画になります。
こちらについては動きが小さく、花びらが落ちている様子や、髪の毛の揺れ程度でした。プロンプトの工夫や元画像の選定などが必要になるかもしれません。この辺は少し検討してみたいと思います。
以上、２例を挙げましたが、このようにかなり自然な動画が生成することが出来ています。同じくImage to Videoが可能なLuma Dream machineとも今後比較していきたいと考えています。
また、Runwayの公式Xにも生成された具体例がありますので、確認してみるとどういった内容の動画が生成できるかイメージが沸くかと思います。
近日追加予定の機能について
さらに、Runwayからのメールによると、Advanced Camera Controls（高度なカメラコントロール）や、Multi-Motion Brush（複数の動きを描くブラシ）機能も近日中に追加予定とされています。これによって、より高度な動画生成が可能となり、カメラの動きや複数の動作を詳細に設定できるようになるようです。こちらも楽しみな機能ですね。
まとめ
今回の記事では、Gen-3 Alphaの新しいImage to Video機能について紹介しました。これまでGen 3にこの機能がなかったことが最大の欠点ではあったので、これが解消された今となっては、動画生成AIとしては最も使い勝手が良くなっている可能性もあります。今後、本機能についてDream machineとの比較も行っていきたいと思います。
なお、Dream machineとの、テキストベースでの比較は下記で行っていたりしますので、こちらもご覧下さい。
コメント