6/12にLuma AIから動画生成AI「Dream Machine」が発表されて、OpenAIの「sora」に匹敵するのではないかと話題になっています。実際に使って動画生成してみたところ、結構衝撃を受けましたので、今回紹介していきたいと思います。
最初に具体例を見たほうが分かりやすいと思いますので、下記に載せてみましたが、こんな感じの動画が無料で簡単に作れます。
それでは、簡単な概要と、始め方と実際に生成した動画について具体的に紹介していきます。
Luma Dream Machineとは？ 概要について
「Luma Dream Machine」は、テキストや画像から高品質な動画を生成するAIプラットフォームです。一言で言うと「動画生成AI」です。
入力したテキストプロンプトや画像を基にして、リアルで一貫性のある動画を短時間で生成してくれます（ただし6/13現在はかなり混雑していて、生成をリクエストしてもキューに入ってしまい、待ち時間が長い場合があります）。
他に主だった特徴としては下記が挙げられます。
・物理的に正確な映像やスムーズなカメラ動作。
・インターフェイスが直感的で使いやすい。
・テキストプロンプトから動画生成も、画像からの動画生成も、どちらも可能。
・無料で月30枚まで生成可能（現在、無料版は1日に5枚までの制約もあります）。
・有料版だと生成枚数が増加し、商用利用も可能に。
・生成できるのは5秒間の動画のみ。
＊6/17のアップデートによって「Extend」機能が追加されています。これによって、1枚分の生成を消費することで、更に5秒間追加で動画生成してトータル10秒間の生成が可能になっています。
・プロンプトは英語だけではなく、日本語での指示が可能。
Luma Dream Machineの使い方
それでは、実際のLuma Dream Machineの始め方について説明します。Googleアカウントでサインインできるので簡単です。
サインインの方法
まず、公式サイト(下記リンク)にアクセスします。
下記のページが開くので、右上の「Try Now」を押す。
すると、Googleでサインインするボタンが出てくるので、これをクリックする。
下記の画面が出てきたら、これでサインインは完了です。あとは、プロンプト欄にテキストか画像をアップロードして、上矢印ボタンを押せば動画生成が開始されます。「Your Creations」以下のところに、生成状況や、これまでに生成した動画が出てきます。生成した動画は右クリックから保存できます。
このように、非常に簡単に始めることが出来ます。
具体的な動画生成例
それでは、「Dream Machine」を用いて、実際に動画を生成した事例を紹介します。①テキストからの動画生成、②画像からの動画生成、それぞれについて具体例を挙げていきます。
テキストプロンプト
下記はプロンプトとして「東京の街をたくさんの人が歩いていて、ふとしてみんな上を見上げる」を入力して生成したものです。ぱっと見だとかなり雰囲気出ていますし、このレベルの動画が無料で簡単に生成できるのは一昔前だと想像できなかったように思います。
ただ細かい点を見ていくと不自然な点も多く、歩行者が貫通していたり、謎の文字になっていたり、ビルの谷間の空に何かが落ちてきたりと、突っ込みどころは結構あります。この辺は、初期の画像生成AIにて「手の描写がおかしい」とか「ラーメンを素手で食べる」とかが頻発した経緯とダブるところがあって、おそらくいずれある程度は解消されていくのかと思います。
テキストベースで生成した事例をもう一つ紹介します。こちらはプロンプトを下記の通り英語で指示を詳細に行ったものですが、指示事項は殆ど反映された動画になっているかと思います。やはり画像生成AIと同じように、プロンプトとしては明確かつ詳細にした方が精度が高いのでしょうね。また先ほどの画像とは異なり登場人物も一人しかおらず、シンプルであることも出来栄えに効いているのかもしれません。
プロンプト「On a high school rooftop during sunset, a melancholic girl with long black hair stands alone, gazing up at the sky. The wind gently rustles her hair as she closes her eyes and takes a deep breath」
画像ベースでの生成
画像ベースでの生成事例も挙げてみます。冒頭に示した動画も、画像ベースで作っていて、DALL-E 3で雪の中の少女のイラストを生成した後で、それを元に「Dream Machine」にて雪を降らせるように指示して作成しています。
別の例として、下記の記事で生成したインセプション風の画像をベースにして、落下し続けるような動画を生成しています。
同様に、ChatGPT (DALL-E 3)との組み合わせで、下記のような動画もできます。キャラクターが謎の動きをしていますが、オーロラや目の閉じ方は自然にできています。
画像やイラストをベースにした動画生成事例については、下記記事でより詳しく説明していますので、良かったらご覧ください。
追記された機能の紹介
Dream Machineは最初の発表後、頻繁にバージョンアップを重ねていて、よりユーザビリティが高くなったり、プロンプト理解力、動画品質の向上もしています。ここでは、今までにどういう機能が追加されてきたのか紹介していきます。
キーフレーム機能の追加
キーフレーム(keyframe)機能が追加されています。これは画像からの動画生成において、最初の画像以外に最後の画像も指定することによって、より一貫性が高く、高品質な動画が得られる機能になります。
この機能の具体的な使用方法や、実際に生成した事例については、下記記事にて詳細にまとめています。よろしければご覧ください。
Loop(ループ)機能の追加
延々と繰り返したような動画を作成することが出来る、「Loop機能」の追加も追加されています。これはテキストプロンプト、画像プロンプトのいずれであっても生成可能な機能です。
ループによってまた一味違う動画を作ることが可能で、こちらの詳細については下記記事にて、実際の生成事例も含めて、解説しています。
動画を削除する方法
以前は動画を削除できなかったのですが、現在は動画を削除する機能も追加されています。
やり方は、まず「Your Creation」のところから削除したい動画を選択してクリックします。そうすると下画像のように、画像の下に「Delete」が表示されます。これをクリックすることで動画が削除できますので、上手く生成できなかった不要な動画を消して整理すると良いでしょう。
バージョン1.5
1.5にバージョンアップがされています。これによって、テキストプロンプトの理解力が向上したり、生成される動画のクォリティが高くなっています。
詳細は下記記事にて紹介していますので、こちらもご覧ください。
まとめ：動画生成AIが簡単に生成可能に
本記事では、Luma Dream Machineの概要と使い方と、具体的な生成例について詳しく説明しました。まだまだ使いこなせていないですが、個人的には画像生成AIで元絵作成してから、動画化するというプロセスには大きな可能性を感じましたので、もっと意図通りの画像生成が出来るように検証してみようと思います。
動画生成AI自体が黎明期にあって、Dream Machineのアップデートも頻繁にありますので、今後ますます高品質化していくことが期待できるかなと思います。
また、Runway Gen 3 Alphaとの比較結果も下記で解説していますので、こちらもよろしければご覧下さい。
コメント