Attributs comme Opérateurs : Factorisation des Compositions Inédites d'Attributs et d'Objets

Nous présentons une nouvelle approche pour la modélisation des attributs visuels. Les travaux antérieurs considèrent les attributs dans un rôle similaire à celui des objets, apprenant une représentation latente où les propriétés (par exemple, tranché) sont reconnues par des classifieurs de manière similaire aux objets (par exemple, pomme). Cependant, cette approche courante échoue à séparer les attributs observés lors de l'entraînement des objets avec lesquels ils sont composés, ce qui la rend inefficace lorsqu'elle rencontre de nouvelles compositions d'attributs et d'objets. À la place, nous proposons de modéliser les attributs comme des opérateurs. Notre approche apprend un plongement sémantique qui factorise explicitement les attributs de leurs objets associés et bénéficie également de nouveaux régularisateurs exprimant les effets des opérateurs d'attributs (par exemple, émoussé devrait annuler les effets de tranchant). Non seulement notre approche est-elle conceptuellement alignée sur le rôle linguistique des attributs en tant que modificateurs, mais elle généralise également pour reconnaître des compositions inédites d'objets et d'attributs. Nous validons notre approche sur deux jeux de données difficiles et démontrons des améliorations significatives par rapport à l'état de l'art. De plus, nous montrons que non seulement notre modèle peut reconnaître robustement des compositions inédites dans un cadre ouvert, mais il peut également généraliser à des compositions où les objets eux-mêmes n'étaient pas observés lors de l'entraînement.