画像AI「Stable Diffusion」の開発に携わったAIスタートアップのRunway Researchが、テキストからビデオクリップを生成する「Gen-2」を2023年3月20日に公開しました。
Gen-2 by Runway
https://research.runwayml.com/gen2
Generative AI’s Next Frontier Is Video – Bloomberg
https://www.bloomberg.com/news/articles/2023-03-20/generative-ai-s-next-frontier-is-video
Text-to-video AI inches closer as startup Runway announces new model – The Verge
https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access
今回発表された「Gen-2」でどのような映像が作れるのかは、以下のムービーから見ることができます。
「Gen-2」の前身は、Runway Researchが2023年2月に発表した、既存の動画から新しい動画を合成できるジェネレーティブAIの「Gen-1」です。「Gen-1」を使用すると、以下のようにお菓子の箱と水筒の動画を工場のような施設の映像にすることができます。
そして、今回発表された「Gen-2」ではこの機能がさらに発展し、テキストから映像を生成することができるようになりました。例えば、「砂漠の風景のドローン映像」とテキストで入力すると、荒涼とした風景の映像が出力されます。
「ニューヨークのロフトの窓からのぞく昼下がりの太陽」といった複雑な指示も可能です。同様のAIとしてはMetaの「Make A Video」やGoogleの「Imagen Video」などが先行していますが、Runwayはわずか45人のチームで開発されているという点で大企業のジェネレーティブAIとは一線を画しています。
デモクリップはいずれも3秒程度の長さで画質も荒く、フレームレートも低めです。また誰でも使えるわけではなく、これまでのところDiscord経由で登録して順番待ちリストに加えてもらう必要があります。Runwayの広報担当者によると、「Gen-2」は今後数週間のうちに幅広いアクセスが提供されるようになるとのこと。
また、RunwayのCEOであるCris Valenzuela氏はBloombergに、「『Gen-2』で生成された映像は無音ですが、将来的には音声も生成できるシステムを目指して、音声の生成に関する研究も行っています」と話しました。
この記事のタイトルとURLをコピーする
・関連記事
たったの数クリックで対象物を切り抜いて合成ムービーを作成できるウェブアプリ「Runway」を使ってみた – GIGAZINE
Googleが動画生成AI「Imagen Video」を発表 – GIGAZINE
Metaが動画生成AI「Make A Video」発表、空飛ぶスーパードッグや自画像を描くテディベアの動画を公開 – GIGAZINE
GoogleのAIが「ムービーの最初と最後のコマ」から途中のコマを生成することに成功 – GIGAZINE
画像生成AI「Stable Diffusion」でムービーを作成できる「stable-diffusion-videos」を使ってみた – GIGAZINE
テキストを基にする動画生成AI「Phenaki」を匿名の研究者が公開、宇宙飛行士が踊ったりテディベアが泳いだりするサンプル動画も – GIGAZINE
・関連コンテンツ