Googleが動画を生成できるAIモデル「Lumiere」を発表

Google Researchが先日発表した動画生成AIモデル「Lumiere」のサンプル動画を見ました。サンプルを見るとかなりクオリティが高いです！実際にリリースされたらすぐにでもいじってみたいですね。

GoogleのLumiereは、動画生成AIにおける課題とされる「リアルで多様、かつ一貫性のある動きの表現」の解消を目指して開発されました。従来の動画生成AIは、キーフレームを生成してから、時間的な超解像を行なうため、フレーム間のつながりが不自然になりがちでした。

一方、Lumiereは、時空間U-Netアーキテクチャにより、動画全体を一度に生成するため、高品質な動画を生成することができます。空間的および時間的なダウン/アップサンプリングと、事前学習済みのテキスト画像拡散モデルを用いることで、複数の時空間スケールで処理を行ない、フルフレームレートの低解像度映像を直接生成します。

テキストプロンプトから動画、画像から動画を生成できるほか、リファレンス画像のスタイルに沿った表現の動画を生成することも可能。また、与えた動画にテキストプロンプトでスタイルを適用する、画像の一部分を動かす、動画の一部分を補完・修正するといった処理にも対応しています。

Googleの本気度が凄いですね。動画生成AIは今年も飛躍的に進歩する予感がします。自分たちのビジネスや業務にどのように取り組み、活用できるかを考えていきたいですね。