Résumé

La modification d’images a connu des progrès remarquables ces derniers temps. Les modèles d’édition modernes sont déjà capables de suivre des instructions complexes pour manipuler le contenu d’origine. Toutefois, au-delà de la simple exécution des instructions, les effets physiques associés sont essentiels à la réalisation d’un rendu réaliste. Par exemple, la suppression d’un objet doit également entraîner la disparition de son ombre, de ses reflets et de ses interactions avec les objets voisins. Malheureusement, les modèles et les benchmarks existants se concentrent principalement sur la complétion des instructions, tout en négligeant ces effets physiques. Alors, à quel point sommes-nous actuellement éloignés d’une édition d’images physiquement réaliste ? Pour répondre à cette question, nous introduisons PICABench, un benchmark systématique évaluant le réalisme physique sur huit sous-dimensions (couvrant l’optique, la mécanique et les transitions d’état) pour la plupart des opérations d’édition courantes (ajout, suppression, modification d’attributs, etc.). Nous proposons également PICAEval, un protocole d’évaluation fiable basé sur l’utilisation d’un modèle de langage visuel (VLM) comme juge, complété par des annotations humaines au niveau des régions et des questions par cas. Au-delà de la mise en place du benchmark, nous explorons également des solutions efficaces en apprenant la physique à partir de vidéos, et construisons ainsi un jeu de données d’entraînement, PICA-100K. Après avoir évalué la plupart des modèles actuels, nous constatons que le réalisme physique demeure un défi majeur, offrant encore de larges perspectives d’exploration. Nous espérons que notre benchmark et les solutions proposées pourront servir de fondation aux travaux futurs, afin de passer d’une édition de contenu naïve à un rendu physiquement cohérent.