HyperAIHyperAI

Command Palette

Search for a command to run...

Show-o2: 改良されたネイティブ統一マルチモーダルモデル

Jinheng Xie Zhenheng Yang Mike Zheng Shou

概要

本論文では、自己回帰モデリングとフローマッチングを活用した改良されたネイティブ統一マルチモーダルモデル、すなわち Show-o2 を提示します。3次元因果変分オートエンコーダ空間を基盤として、空間(-時間)融合の二重パスを通じて統一的な視覚表現が構築され、画像とビデオのモダリティ間でのスケーラビリティを確保しながら効果的なマルチモーダル理解と生成が可能となります。言語モデルに基づき、自己回帰モデリングとフローマッチングはそれぞれ言語ヘッドとフロー・ヘッドにネイティブに適用され、テキストトークン予測と画像/ビデオ生成を促進します。効果的に学習し、より大きなモデルへのスケーリングを可能にするための二段階トレーニングレシピが設計されています。結果として得られた Show-o2 モデルは、テキスト、画像、ビデオなど多様なモダリティにおける広範なマルチモーダル理解および生成タスクに対処する柔軟性を示しています。コードとモデルはこの https URL で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Show-o2: 改良されたネイティブ統一マルチモーダルモデル | 記事 | HyperAI超神経