EditReward-Bench ist ein systematischer Evaluierungs-Benchmark für Belohnungsmodelle in der Bildbearbeitung, der gemeinsam von der Universität für Wissenschaft und Technologie Chinas, dem Institut für Automatisierung der Chinesischen Akademie der Wissenschaften und der Pekinger Akademie für Künstliche Intelligenz veröffentlicht wurde. Die zugehörige Veröffentlichung trägt den Titel „EditScore: Online-RL für die Bildbearbeitung durch hochpräzise Belohnungsmodellierung erschließenZiel ist es, die Unterscheidungsfähigkeit von Belohnungsmodellen anhand dreier Kerndimensionen umfassend zu bewerten: Befolgung der Anweisungen, Aufrechterhaltung der Konsistenz und Gesamtqualität.

Der Datensatz umfasst 3.072 von Experten annotierte Präferenzvergleichsdatenpunkte, die vier Hauptkategorien und 13 repräsentative Bildbearbeitungsaufgaben abdecken und sowohl gängige als auch komplexe Anwendungsszenarien aus der Praxis umfassend berücksichtigen. Alle Bearbeitungsergebnisse wurden mit elf heterogenen Bildbearbeitungsmodellen generiert, darunter Open-Source-Systeme und führende proprietäre Programme. Dies gewährleistet die Vielfalt und den hohen Anspruch der Datenverteilung.

Aufgabenkategorie:

• Fachkategorie: Hinzufügen, Entfernen und Ersetzen von Fächern
• Änderungen im Zusammenhang mit dem Erscheinungsbild: Farbänderung, Materialwechsel, Stiltransfer, Anpassung des Farbtons.
• Szenenbezogen: Hintergrundaustausch, Vordergrundextraktion
• Erweiterte Bearbeitungskategorien: Porträtoptimierung, Textbearbeitung, Bewegungsmanipulation und gemischte Bearbeitung.