Runwayの生成AIがテキストを動画に変換

Runway は Midjourney と Stable Diffusion を押しのけて、同社によれば完全にテキスト プロンプトによって生成される、テキストから動画への AI アートの最初のクリップを発表しました。

同社は、現実世界のシーンをモデルにした、よりシンプルなテキスト動画変換ツールの初版でも同様のウェイティングリストを提供した後、テキスト動画変換AIの「第2世代」と呼ぶものに参加するためのウェイティングリストも提供していると述べた。

昨年AIアートが登場した当時は、テキストから画像を生成するモデルが用いられていました。ユーザーがシーンを説明するテキストプロンプトを入力すると、ツールは現実世界の「シード」や芸術的スタイルなどに関する知識を用いて画像を作成しようとします。Midjourneyのようなサービスはこれらのタスクをクラウドサーバー上で実行し、Stable DiffusionやStable Hordeは家庭用PCで動作する同様のAIモデルを活用しています。

しかし、テキストから動画への変換は次のステップです。これには様々な方法があります。Pollinations.aiには、試すことができるモデルがいくつか蓄積されています。そのうちの一つは、関連するいくつかのシーンをつなぎ合わせてアニメーションを構築するものです。もう一つは、画像の3Dモデルを作成し、ズームインできるようにするものです。

Runwayは異なるアプローチを採用しています。同社は既にAIを活用した動画ツールを提供しており、画像ではなく動画からオブジェクトを削除するインペインティング、AIを活用したボケ効果、トランスクリプトや字幕作成など、様々な機能を提供しています。第一世代のテキスト変換ツールでは、現実世界のシーンを構築し、それをモデルとしてテキスト生成動画を重ね合わせることができました。これは通常、画像として行われ、例えばゴールデンレトリバーの写真をAIでドーベルマンの写真に変換することができます。

これが第1世代です。RunwayのGen 2は、同社がツイートしているように、既存の画像や動画をベースとして使用できます。さらに、この技術はテキストプロンプトから短い動画クリップを完全に自動生成することもできます。

Runwayのツイートが示すように、これらのクリップは短く（せいぜい数秒）、粗く、フレームレートも低い。Runwayがこのモデルを早期アクセス版または一般公開版としていつリリースするかも不明だ。しかし、Runway Gen 2のページに掲載されているサンプルには、テキストから動画を生成するAI、テキストと画像から動画を生成するAIなど、多様な動画生成ツールが紹介されている。モデルに入力する情報が多ければ多いほど、結果が良さそうだ。既存のオブジェクトやシーンに動画「オーバーレイ」を適用すると、最も滑らかな動画と最高の解像度が得られるようだ。

Runwayはすでに月額12ドルの「スタンダード」プランを提供しており、無制限の動画プロジェクトが可能です。ただし、自分のポートレートを実際にトレーニングしたり、動物ジェネレーターを作成したりといった特定のツールには、追加料金として10ドルが必要です。Runwayが新プランでいくら請求するかは不明です。

しかし、 Runwayが実際に示しているのは、わずか数か月で、テキストから画像を作成する AI アートから、テキストから動画を作成する AI アートに移行したということです。私たちにできることは、ただ驚いて首を振ることだけです。

著者: マーク・ハッハマン、PCWorld シニア編集者