Apprentissage d'attributs conditionnels pour l'apprentissage zéro-shot composant

L’apprentissage zéro-shot compositionnel (CZSL) vise à entraîner des modèles pour reconnaître de nouveaux concepts compositionnels à partir de concepts appris, tels que des combinaisons attribut-objet. L’un des défis consiste à modéliser les attributs interagissant avec différents objets : par exemple, l’attribut « mouillé » dans « pomme mouillée » et « chat mouillé » n’a pas le même sens. À cet effet, nous proposons une analyse et soutenons l'idée que les attributs sont conditionnés par l'objet reconnu et par l'image d'entrée. Nous explorons l'apprentissage d'embeddings d'attributs conditionnels via un cadre d'apprentissage d'attributs proposé, comprenant un hyper-apprenant d'attributs et un apprenant de base d'attributs. En encodant les attributs conditionnels, notre modèle permet de générer des embeddings d'attributs flexibles, favorisant ainsi la généralisation des compositions vues vers les compositions invisibles. Des expériences sur des benchmarks CZSL, y compris le jeu de données C-GQA plus exigeant, montrent des performances supérieures par rapport à d'autres approches de pointe, validant ainsi l'importance de l'apprentissage d'attributs conditionnels. Le code est disponible à l’adresse suivante : https://github.com/wqshmzh/CANet-CZSL