要約

近年、指示に基づく画像編集および主題駆動型生成に関する研究が著しく進展しており、注目を集めている。しかし、これらのタスクは実用的なユーザーのニーズに応える上で依然として限界を抱えている。指示に基づく編集は言語指示のみに依存しており、具体的な編集内容を十分に捉えられず、参照画像の使用が不可欠となる場合が多い。一方、主題駆動型生成は、具体的な物体や人物の組み合わせに限定され、より広範で抽象的な概念の扱いには対応していない。こうした課題に対処するため、本研究では新たな2つのタスクを提案する：マルチモーダル指示に基づく画像編集および生成。これらのタスクは、テキストと画像の両方の指示をサポートし、具体的な概念に加えて抽象的概念も対象とすることで、応用範囲を大幅に拡張する。本研究では、これらの課題に対応するため、DreamOmni2を提案する。DreamOmni2は、主に2つの課題に取り組む：データの構築とモデルフレームワークの設計。データ合成パイプラインは以下の3段階から構成される：(1) 特徴量の混合手法を用いて、抽象的概念と具体的な概念の両方に対応する抽出データを生成し、(2) 編集モデルと抽出モデルを用いて、マルチモーダル指示に基づく編集用の学習データを生成し、(3) さらに抽出モデルを活用して、マルチモーダル指示に基づく編集用の学習データを拡充する。フレームワーク面では、複数の画像入力を処理するため、インデックス符号化と位置符号化のシフト方式を提案。この方式により、モデルは入力画像を明確に区別でき、ピクセルの混同を回避することができる。さらに、視覚言語モデル（VLM）と本研究の生成／編集モデルを共同学習させるアプローチを導入し、複雑な指示の処理能力を向上させた。加えて、これらの新規タスクの発展を促進するため、包括的なベンチマークを提案した。実験の結果、DreamOmni2は優れた性能を達成した。モデルおよびコードは公開予定である。