EditReward-Benchは、中国科学技術大学、中国科学院自動化研究所、北京人工知能研究院が共同で発表した、画像編集報酬モデルの体系的な評価ベンチマークです。関連論文は「EditScore: 高忠実度報酬モデリングによる画像編集のためのオンライン強化学習の実現目標は、指示の遵守、一貫性の維持、全体的な品質という 3 つの主要な側面から報酬モデルの識別能力を総合的に評価することです。

このデータセットには、専門家による注釈付きの嗜好比較データポイントが3,072点含まれており、4つの主要カテゴリと13の代表的な画像編集タスクを網羅し、一般的な実世界のアプリケーションシナリオから複雑な実世界のアプリケーションシナリオまでを網羅しています。候補となる編集結果はすべて、オープンソースシステムや主要なプロプライエタリエディターを含む11種類の異種画像編集モデルによって生成されたため、データ分布の豊かさと課題の解決可能性が確保されています。

タスクカテゴリ:

• 主題クラス: 主題の追加、主題の削除、主題の置き換え
• 外観に関する変更: 色の変更、材質の変更、スタイルの転送、色調の調整。
• シーン関連: 背景の置き換え、前景の抽出
• 高度な編集カテゴリ: ポートレートの強化、テキスト編集、モーション操作、混合編集。