EditReward-Bench est un banc d'essai d'évaluation systématique des modèles de récompense pour l'édition d'images, publié conjointement par l'Université des sciences et technologies de Chine, l'Institut d'automatisation de l'Académie chinoise des sciences et l'Académie d'intelligence artificielle de Pékin. L'article associé est intitulé « EditReward-Bench ».EditScore : Débloquer l’apprentissage par renforcement en ligne pour la retouche d’images grâce à une modélisation des récompenses haute fidélitéL’objectif est d’évaluer de manière exhaustive la capacité discriminative des modèles de récompense selon trois dimensions fondamentales : le respect des instructions, le maintien de la cohérence et la qualité globale.

L'ensemble de données contient 3 072 points de comparaison de préférences annotés par des experts, couvrant 4 grandes catégories et 13 tâches représentatives de retouche d'images, et englobant de manière exhaustive des scénarios d'application concrets, des plus courants aux plus complexes. Tous les résultats de retouche candidats ont été générés par 11 modèles de retouche d'images hétérogènes, incluant des systèmes open source et des logiciels propriétaires de pointe, garantissant ainsi la richesse et la complexité de la distribution des données.

Catégorie de tâche :

• Catégorie de matière : Ajout de matière, suppression de matière, remplacement de matière
• Modifications liées à l'apparence : modification de la couleur, changement de matériau, transfert de style, ajustement de la tonalité de la couleur.
• Éléments liés à la scène : remplacement de l’arrière-plan, extraction du premier plan
• Catégories de retouche avancées : amélioration de portrait, retouche de texte, manipulation de mouvement et retouche mixte.