要約

Lumina-DiMOO を紹介します。これは、シームレスなマルチモーダル生成と理解を実現するオープンソースの基礎モデルです。Lumina-DiMOO は、さまざまなモダリティの入出力を処理するために、完全に離散的な拡散モデル（discrete diffusion modeling）を採用することで、従来の統合型モデルとは差別化されています。この革新的なアプローチにより、従来の自己回帰型（autoregressive, AR）または AR-拡散ハイブリッドモデルと比較して、より高いサンプリング効率を達成するとともに、テキストから画像生成、画像から画像生成（例：画像編集、対象駆動型生成、画像補完など）、および画像理解を含む幅広いマルチモーダルタスクを効果的にサポートします。Lumina-DiMOO は複数のベンチマークにおいて最先端の性能を達成しており、既存のオープンソース統合型マルチモーダルモデルを上回っています。マルチモーダルおよび離散拡散モデル分野のさらなる進展を促進するため、本研究ではコードおよびモデルチェックポイントをコミュニティに公開します。プロジェクトページ：https://synbol.github.io/Lumina-DiMOO