Jinheng Xie Zhenheng Yang Mike Zheng Shou

要約

本論文では、自己回帰モデリングとフローマッチングを活用した改良されたネイティブ統一マルチモーダルモデル、すなわち Show-o2 を提示します。3次元因果変分オートエンコーダ空間を基盤として、空間（-時間）融合の二重パスを通じて統一的な視覚表現が構築され、画像とビデオのモダリティ間でのスケーラビリティを確保しながら効果的なマルチモーダル理解と生成が可能となります。言語モデルに基づき、自己回帰モデリングとフローマッチングはそれぞれ言語ヘッドとフロー・ヘッドにネイティブに適用され、テキストトークン予測と画像/ビデオ生成を促進します。効果的に学習し、より大きなモデルへのスケーリングを可能にするための二段階トレーニングレシピが設計されています。結果として得られた Show-o2 モデルは、テキスト、画像、ビデオなど多様なモダリティにおける広範なマルチモーダル理解および生成タスクに対処する柔軟性を示しています。コードとモデルはこの https URL で公開されています。