Résumé

Le retouchage photographique est devenu une composante essentielle du récit visuel contemporain, permettant aux utilisateurs de capturer des esthétiques et d'exprimer leur créativité. Bien que des outils professionnels tels qu'Adobe Lightroom offrent des capacités puissantes, ils exigent une expertise considérable et un effort manuel important. En revanche, les solutions existantes basées sur l'IA fournissent une automatisation mais souffrent souvent d'une ajustabilité limitée et d'une mauvaise généralisation, ne répondant pas aux besoins diversifiés et personnalisés en matière de retouchage. Pour combler cet écart, nous présentons JarvisArt, un agent piloté par un grand modèle linguistique multi-modal (MLLM) qui comprend l'intention de l'utilisateur, imite le processus de raisonnement des artistes professionnels et coordonne intelligemment plus de 200 outils de retouchage au sein de Lightroom. JarvisArt subit un processus d'entraînement en deux étapes : un premier ajustement supervisé par la chaîne de pensée pour établir des compétences de raisonnement et d'utilisation des outils, suivi d'une optimisation relative par groupe pour le retouchage (GRPO-R) afin d'améliorer davantage sa prise de décision et sa maîtrise des outils. Nous proposons également le Protocole Agent-to-Lightroom pour faciliter l'intégration fluide avec Lightroom. Pour évaluer les performances, nous avons développé MMArt-Bench, un nouveau benchmark construit à partir d'éditions réelles effectuées par les utilisateurs. JarvisArt montre une interaction conviviale, une meilleure généralisation et un contrôle précis à la fois sur les ajustements globaux et locaux, ouvrant ainsi une nouvelle voie pour le retouchage photographique intelligent. Il convient de noter que JarvisArt surpasse GPT-4o avec une amélioration moyenne de 60 % des métriques au niveau pixelaire sur MMArt-Bench en termes de fidélité du contenu tout en conservant des capacités comparables en matière de suivi des instructions. Page du projet : https://jarvisart.vercel.app/.