Lumaの動画生成AI 「Dream Machine」に、新機能として「キーフレーム」が追加されました。これにより、最初と最後の画像を設定して動画の補完可能となり、これまで以上に高い品質の動画も生成することが可能です。本記事では、この新機能がどのようなものなのかを詳しく紹介し、実際に使用した感想やどうやったら上手くいくのか解説します。
Dream Machineの解説や導入方法については、下記記事にて解説しています。
Dream Machineのキーフレーム(keyframes)での補完機能について
これまでもDream Machineにおいては、最初の画像・イラストをアップロードすることで、それを元にした動画生成が可能でした。更に最新のアップデートによって、動画の一番最後の画像もアップロードすることが出来るようになっています。これまで通りテキストプロンプトの併用可能です。
これによって、最初と最後のキーフレーム (keyframes)を指定することで、その間のフレームを補完しながら自動的に生成します。補完とは、2つの画像の間に相当する中間フレーム(中割)を計算することによって、スムーズに切り替わっていくアニメーションとして生成する機能です。この機能の主なメリットは以下の通りです。
- 品質：開始と最終フレームの画像品質を高くすることで、生成される中間フレームも同様の品質となり、動画全体のクォリティを高めることが可能です。
- 一貫性：同様に、中間フレームにおいてもキャラクターや背景の一貫性が保持されやすくなります。
- シームレス：2枚の画像間を繋ぐようにAIが計算するため、画面遷移が非常に滑らかなものとなります。
キーフレーム機能の使用方法
それでは、キーフレーム機能の使用方法について簡単に説明していきます。
生成した動画は、通常通りに保存することが可能です。また追加で、Extendして更に動画時間を延ばすことも可能です。Extend機能の使い方は、下記で説明の通りです。
キーフレームを用いた具体的な使用事例
次に実際にし、生成した事例について説明します。成功事例3つと、失敗事例1つについて取り上げます。元々Dream Machineが苦手としているアニメーション動画をメインとしています。
1. 変身
最初の動画は、制服姿から魔法少女に変身するアニメーションを試みた事例です。元画像は、ChatGPT 4o (DALL-E 3)にて生成したものを用いています(以下、今回紹介する他の事例も同様です)。
①最初の画像 (変身前)
②最後の画像 (変身後)
これをEnhance promptありで、テキストプロンプト「彼女は変身する」として生成した動画が下記となります。
このように、かなり高いレベルの動画に仕上げることが出来ます。キャラクターの動きも大きいですし、画面遷移も大胆に行われているのですが、いずれもかなり自然な出来栄えとなっています。さらにアニメキャラクターで失われがちな一貫性についても、最初から最後まで保持されていて殆ど違和感がありません。
これまでもDream Machineでの生成動画もクオリティには驚くことが多かったのですが、本機能の追加によって、更に一段高いレベルに至ったように感じさせる動画となっているかと思います。
2. 泣いている少女
次は「表情」と「カメラワーク」の変化を狙って、下記の画像にて動画生成を行っていきました。
①最初の画像
②最後の画像
これらを元にして、生成された動画が下記になっています。追加のテキストプロンプトは「She is crying」です。
こちらも一貫性を保持しつつ、涙を流しながら近寄っている様子が、かなり滑らかに表現されています。
3. 着替え
次は事例1と似た生成例ですが、違ったテイストになったので紹介します。こちらは、寝起きから着替えた状態になる動画を生成しており、元画像として使用したのは下記の通りです。
①最初の画像
②最後の画像
これらを元にして生成した動画が以下となっています。テキストプロンプトは「彼女は一瞬で着替えられる」です。
くるっと回っている間に着替えているという、現実的ではあり得ないが、演出としては許容されそうな良い感じの表現の動画になっています。キャラクターが１回転するという結構複雑な動きがなされていますが、大きくは破綻していません。詳しく見るとごまかしている部分もあるのですが、ぱっと見だと分かりにくいかなと思います。
4. 失敗事例：葉っぱの成長
最後に、逆に上手くいかなかった事例について説明していきます。植物が成長していく様子の動画としたかったのですが、シームレスな成長となっていないため、失敗としています。
元画像としては、下記を用いています。これらもDALL-E 3で生成しています。
①最初の画像
②最後の画像
生成された動画が下記です。なお、テキストプロントはなしとしています。
このように、カメラワークのみ動画となってしまい、二枚の画像がフェードアウトしながら切り替わっているだけになっています。これが悪いというわけではないのですが、画像間を補完したシームレスな動画になっているかというと、あまり上手くいっていないかなと思います。
この原因としては恐らく、アップロードした画像の葉っぱや土に微妙な違いがあるため、これらが同じものとしてみなされていないことにあるためと考えられます。
他にも、最初に「猫」で、最後が「犬」のように異なる画像を選択した場合は、これと同じように、途中で画面の切り替えが入りました。逆に上手くいっている事例は、いずれもキャラクターの同一性が高い画像にしていますので、人物などの被写体が同一のものであるとAIに認識させるのが思ったよりもシビアなのかもしれません。
所感とまとめ
本記事では、Luma Dream Machineのキーフレーム(keyframes)による動画の補完について具体例を上げつつ解説してきました。
この機能は、アニメーション制作を効率化し、滑らかな動きを簡単に作成するための強力なツールだと思います。特にキャラクターの一貫性を保持しつつ、大きな動きを持たせたい場合に威力を発揮するように感じました。ただシームレスに変化する動画を生成するためには、最初と最後の画像の選定の仕方には工夫が必要かもしれません。
この機能を上手く使いこなすことによって、Dream Machineでの動画生成の可能性をより広げられると感じます。
コメント