MITとAdobeが共同開発、AI動画生成ツール「CausVid」が高品質なリアルタイム編集を可能に

MITとAdobeの研究チームが、高品質な動画を生成できる新しいAIツール「CausVid」を開発しました。このモデルは、10秒で高解像度の動画を生成し、実際の映像制作時間を100倍近く短縮できる可能性があります。さらに、動画の質は「Open SORA」と「MovieGen」などの最新モデルに匹敵する安定性と高さを持っています。 研究チームは、30秒間の高安定性動画生成を実現するためのテストを行いました。CausVidは画像と動画の両方から学習するため、生成速度が非常に速く、視覚的な多様性と安定性も高いことが確認されました。具体的には、900回以上的文字-動画データセットを利用した評価で、他の頂点モデルと比較して平均84.27の評価を得ました。 開発者のTianwei Yin氏によると、「自己回帰モデルの高速生成能力は、教師モデルが描画するような品質を保つ一方で、代償として視覚的多様性が少し減少する可能性がある」と説明しています。しかし、特定のドメインデータを使用した学習により、より多岐にわたる映像コンテンツを生成することが可能になるでしょう。 この研究は、既存の大型言語モデルや画像生成モデルをはるかに上回るスピードで動画生成を実現するために重要な一歩となります。「現行の動画モデルでは生成速度が遅すぎることが課題でした」と、カーネギーメロン大学の助教授Jun-Yan Zhu氏は述べています。「この突破は、生成効率を大幅に向上させ、ストリーミングサービス、コミュニケーションアプリケーションへの応用、さらにはAIアクセレーターへの組み込みにつながります。」 この研究では、Amazon Science Center、光州市立大学、Adobe、Google、米国空軍研究所、および米国空軍人工知能加速機関からの支援を受けました。CausVid技術は、6月に開催される国際計算機ビジョンとパターン認識学会議（CVPR）で発表されます。