Symétrie et groupe dans les compositions attribut-objet

Les attributs et les objets peuvent former des compositions diverses. Pour modéliser la nature compositionnelle de ces concepts généraux, il est judicieux d’apprendre ces derniers à travers des transformations, telles que le couplage et le découplage. Toutefois, les transformations complexes doivent respecter des principes spécifiques afin de garantir leur rationalité. Dans cet article, nous proposons tout d’abord un principe jusqu’alors ignoré dans les transformations attribut-objet : la symétrie. Par exemple, le couplage de « apple pelée » avec l’attribut « pelée » doit donner « apple pelée », et le découplage de « pelée » de « apple » doit toujours produire « apple ». En intégrant ce principe de symétrie, nous développons un cadre de transformation inspiré par la théorie des groupes, nommé SymNet. Ce dernier se compose de deux modules : un réseau de couplage et un réseau de découplage. En adoptant les axiomes de groupe ainsi que la propriété de symétrie comme objectifs, nous utilisons des réseaux de neurones profonds pour implémenter SymNet, et l’entraînons de manière end-to-end. Par ailleurs, nous proposons une méthode de reconnaissance basée sur la Distance de Déplacement Relatif (RMD), qui exploite la variation d’attribut plutôt que le motif d’attribut lui-même pour classifier les attributs. L’apprentissage par symétrie peut être appliqué à la tâche d’apprentissage zéro-shot compositionnel et surpasse les méthodes les plus avancées sur des benchmarks largement utilisés. Le code est disponible à l’adresse suivante : https://github.com/DirtyHarryLYL/SymNet.