Runway Gen-3 Alphaの動画生成で出来ることと出来ないことは？：実写、アニメ風動画の比較から

Runway AIのGen-3 Alphaは、最新のAI技術により動画生成を行うツールです。使用していく中で、得手不得手とする部分が見えてきましたので、紹介していきます。特に本記事では、実写系とアニメ系の生成動画を比較や、Dream Machineとの比較から、何ができて、何が上手くいかないのかを解説していきます。

Gen-3 Alphaの導入方法や簡易的なプロンプト例については下記記事で紹介していますので、こちらもどうぞ！

Gen-3 Alphaが得意とすること

まずGen-3 Alphaは、実写系の動画を生成する分には、非常に高品質な動画が得られやすい印象を持っています。具体的には以下の点に強みがあるように感じます。

• 自然な人物描写：表情や体の動きがリアルで、実在していそうに思わせる完成度の場合もあります。
• リアルな背景：風景や街並みなどの背景も自然に再現され、これも実在していそうな印象を持ちます。
• スムーズな動き：人物や物体の動きがスムーズで、不自然さが少ないように感じます。

それでは実際に生成した事例を元にして、プロンプトと具体例を挙げていきます。

東京のビル群のドローン撮影

使用したプロンプト：

Drone shot:The camera flies through the streets of Tokyo, weaving between towering skyscrapers. Below, people are bustling about, and in the distance, the rising sun casts a warm glow over the city.

高層ビルを高空から俯瞰しており、全体的に鮮明で、リアリティの高い動画となっています。カメラワークも滑らかですね。朝日の描写と、それに照らされるビル群が印象的です。

この動画に限らず、Gen3 Alphaでは建物の描写はクオリティが高いように感じます。また、ほぼプロンプトを守ってくれている点もポイント高いです。

女優が話しているシーン

使用したプロンプト：

A Japanese young actress is Speaking

ただ話しているだけの動画ではあるのですが、口や目の動き、手振りにリアルさを感じます。Dream Machineは日本人の描写が上手くいかなかったのですが、Gen-3 alphaは結構再現度高いですね。また、用いたプロンプトが簡素な割には、上手く補完してくれているなと思います。

東京の街を歩く女性

使用したプロンプト：

Wide angle tracking shot: A beautiful Japanese woman with long black hair, wearing a stylish summer dress, walks through the bustling streets of Tokyo during the day. The camera tracks her from a side angle, capturing her radiant smile and elegant demeanor.Scene Description: The street is vibrant with life, showcasing iconic Tokyo elements such as colorful neon signs, busy sidewalks filled with pedestrians, and contemporary buildings.

こちらもほぼプロンプトを反映していて、人物にも日本人っぽさが出せており、また表情も豊かな動画となっています。髪の毛の動きなんか自然だし、描写が細やかだなと感じます。背景も破綻している部分がぱっと見ではなさそうですし、全体的にあまり失点がないですよね。

Gen-3 Alphaが苦手とすること

ここまで見てきたように、Runway Gen-3はかなりクオリティの高い動画を生成することが可能です。一方で、Gen-3 Alphaにおいて、動画生成が難しい事例も幾つかありますので、これについて説明していきます。

主な要点は下記になります。

• アニメ風の動画全般：基本的に動きが乏しいか、不自然な動画になりがちです。
• 複雑な動きの再現：複雑で高速な動きの再現はまだ難しく、走るだけの動作であっても違和感が生まれやすいです。
• 手の再現：手の動きや指の細かい動作は、不自然に見えることがあります。特に、指先の重なりが生じるところを苦手としているように感じます。

アニメ系の動画

東京の街を歩く女性(アニメ版)

使用したプロンプト：

Wide angle tracking shot: A beautiful Japanese woman with long black hair, wearing a stylish summer dress, walks through the bustling streets of Tokyo during the day in an anime style. The camera tracks her from a side angle, capturing her radiant smile and elegant demeanor with exaggerated, expressive features typical of anime.Scene Description: The street is vibrant with life, showcasing iconic Tokyo elements such as colorful neon signs, busy sidewalks filled with animated pedestrian.

これはアニメ系として生成した動画の中では上手くできたほうなのですが、それでもアニメというよりは、イラストの静止画をベースにして、髪の毛や腕、服だけを動かしているという印象が強いです。基本的に顔が全く動いていないし、体の向きも殆ど変化がないです。背景についても、文字生成がおかしいのは置いておくとしても、どこをどう歩いているのか謎な感じになっています。

桜並木の中の女性

使用したプロンプト：

Circle shot: The camera moves around a beautiful Japanese woman standing amidst a path lined with cherry blossoms in full bloom. She is smiling gently, with petals falling softly around her.

これも同じように、キャラクターに動きが見られず、桜の花びらでお茶を濁している感じになっています。また、先ほどの動画でもそうですが、絵柄に偏りがあるようにも思います。

ただ、これらはまだましな方ではあって、完全に破綻している動画もちらほらありました。実写系に比べると、打率が大分悪いです。

浜辺を走る水着の女性

使用したプロンプト：

Wide angle tracking shot: A beautiful Japanese woman with long black hair, wearing a stylish swimsuit, runs along a sandy beach. The camera follows her from a side angle, capturing her joyful and radiant expression with natural and realistic features.Scene Description: The beach is vibrant and sunny, with clear blue skies and gentle waves lapping at the shore. The woman runs gracefully, her hair and swimsuit flowing with her movements, creating a sense of dynamic motion.

プロンプトとしては反映していますし、画質も綺麗なのですが、走る際の手や足の動きは不自然になっています。

女性が話しているシーン

使用したプロンプト：

A Japanese woman is Speeching

この動画では、左手の描写がかなりあやふやになっています。この部分以外は、人物の造形、話し方、表情、背景、どれもかなり違和感がなく、どこかに実在している人物なのではないかという印象さえ受けます。全体的にレベルが高い分だけ、やはり指先の動きに非常に違和感を持ってしまいます。

Luma Dream Machineとの比較

次に、Dream Machineとの共通点、違いについても解説します。どちらのAIもリアルな動画生成のレベルが高いのですが、似たような部分に課題があるように感じました。

具体的には、共通して下記の部分に難点があると思われます。

一方で、異なる点としては下記が挙げられます。

• アニメ系の動画において、Gen-3 Alphaで生成される動画のテイストには幅がなく、動きも小さい。Luma Dream Machineの方が動きやスタイルに幅がある。
• 全体的にDream Machineよりも、Gen-3 Alphaの方が光量の多い画像になりやすいような印象を受ける。そのために画質が良く感じられる。Dream Machineだと、家庭用デジカメで撮影したような、凄い暗めの画像も結構生成される。
• Gen3 Alphaは全体的に間延びした印象の動画が多いような印象。
• Dream Machineは日本人の描写に難があるが、Gen-3 Alphaはかなり自然。
• Dream Machineではテキスト以外にも画像からの動画生成が可能だが、現状Gen-3 Alphaにはできない。

このように動画生成AIのモデルによって、得意とする部分が少し違うように思いますので、生成したい対象や目的に応じて選択することが大事かなと思います。

なお、Luma Dream Machineの使用方法や導入に関しては、下記で解説しています。

まとめ

本記事では、Runway AIの最新モデルGen-3 Alphaについて解説してきました。全般的な印象としては、高品質な動画を生成しやすくて、使っていて面白いツールだなと思います。