DreamBench++ 自動画像評価ベンチマーク データセット

DreamBench++ は、パーソナライズされた画像の評価に存在する問題を解決することを目的として、清華大学、西安交通大学、イリノイ大学アーバナシャンペーン校、中国科学院、Megvii の研究者によって共同で 2024 年に開始された新しいベンチマークです。発電技術。マルチモダリティをサポートする GPT-4o を導入することで、人間の好みとの深い整合と自動評価を実現し、より包括的で多様なデータセットを開始します。

DreamBench++ の主な機能は次のとおりです。

1. 自動評価: 自動評価には GPT-4o を使用し、手動評価の時間とコストを削減します。
2. 人間の好みの調整: プロンプト ワード (プロンプト) を慎重に設計することで、GPT-4o は評価プロセス中に人間のように考えることができ、評価結果が人間の直感や好みと一致することを保証します。
3. 包括的なデータセット: 画像の鮮明さを向上させるために、Unsplash、Rawpixel、Google 画像検索を含む、3 種類のオブジェクトを含む 200 個のキーワードを含むパーソナライズされたデータ セットを構築しました。認識。
4. 実験結果: 7 つの異なる画像生成方法を評価した結果、DreamBench++ の画像類似性とテキスト準拠性のスコアは、それぞれ人間の評価と非常に一致しており、既存の DINO スコアや CLIP スコアよりも優れていることがわかりました。 50%以上。

DreamBench++ の発売により、パーソナライズされた画像生成テクノロジーを評価するための新しいツールと方法が提供され、この分野のさらなる開発の促進に役立ちます。関連する論文とデータセットは、研究者や開発者による使用および参照のために公開されています。