Hi3DEval : Progresser dans l’évaluation de la génération 3D grâce à une validité hiérarchique

Malgré les progrès rapides réalisés dans la génération de contenus 3D, l’évaluation de la qualité des objets 3D générés reste un défi. Les méthodes existantes s’appuient principalement sur des métriques basées sur des images et fonctionnent uniquement au niveau de l’objet, ce qui limite leur capacité à capturer la cohérence spatiale, l’authenticité des matériaux et les détails locaux de haute fidélité. 1) Pour relever ces défis, nous introduisons Hi3DEval, un cadre d’évaluation hiérarchique spécifiquement conçu pour les contenus générés en 3D. Ce cadre combine une évaluation au niveau de l’objet et au niveau des parties, permettant ainsi une analyse globale sur plusieurs dimensions ainsi qu’une analyse fine de la qualité. En outre, nous étendons l’évaluation des textures au-delà de l’aspect esthétique en évaluant explicitement la réalisme des matériaux, en se concentrant sur des attributs tels que l’albédo, la saturation et le caractère métallique. 2) Pour soutenir ce cadre, nous construisons Hi3DBench, un grand jeu de données comprenant une diversité d’objets 3D et des annotations de haute qualité, accompagnées d’un pipeline d’annotation fiable basé sur plusieurs agents. Nous proposons également un système automatisé d’évaluation 3D-aware fondé sur des représentations hybrides 3D. Plus précisément, nous utilisons des représentations basées sur des vidéos pour l’évaluation au niveau de l’objet et pour l’évaluation des matériaux, afin d’améliorer la modélisation de la cohérence spatio-temporelle, et des caractéristiques 3D pré-entraînées pour la perception au niveau des parties. Des expérimentations étendues démontrent que notre approche surpasse les métriques basées sur les images existantes en termes de modélisation des caractéristiques 3D et atteint une meilleure corrélation avec les préférences humaines, offrant ainsi une alternative évolutives aux évaluations manuelles. La page du projet est disponible à l’adresse suivante : https://zyh482.github.io/Hi3DEval/.