HyperAI超神経
Back to Headlines

OmniGen2:次世代マルチモーダル生成モデルが登場

8日前

新しい多様な生成タスクに対応したオープンソースモデル「OmniGen2」の登場 3時間前にデバンド・ヴァシスタが報告 最新の生成モデル「OmniGen2」が誕生しました。このオープンソースモデルは、テキストから画像生成、画像編集、コンテクスト生成などの多様な生成タスクを扱うことができます。従来のOmniGenと異なるのは、テキストと画像の生成にそれぞれ独立したデコードパスを使用している点です。これにより、既存の多次元モデルと互換性を持ちつつも、テキスト生成の能力を維持できます。 OmniGen2のトレーニングには、画像編集やコンテクスト生成のために特別に設計されたデータパイプラインを構築しました。さらに、画像生成のための反射メカニズムと対応するデータセットも作成しています。パラメータ数がそれほど多くないにもかかわらず、テキストから画像生成や画像編集などのタスクでも優れた性能を発揮します。 特にコンテクスト生成(サブジェクト駆動型タスク)では、私たちが新しいベンチマーク「OmniContext」を作成し、現行のオープンソースモデルの中でも最高の一貫性を達成しています。将来の研究を支援するために、モデル、トレーニングコード、データセット、およびデータパイプラインを公開する計画です。 プロジェクトページ: https://vectorspacelab.github.io/OmniGen2 GitHub: https://github.com/VectorSpaceLab/OmniGen2

Related Links