Interaction d'ordre élevé pour la catégorisation visuelle fine supervisée faiblement

La catégorisation visuelle fine (FGVC) constitue une tâche difficile en raison des fortes variations intra-catégoriques et des faibles variations inter-catégoriques. Les études récentes abordent cette tâche de manière faiblement supervisée, sans recourir aux annotations de parties fournies par des experts. Parmi celles-ci, les méthodes fondées sur le pooling bilinéaire représentent l'une des principales approches pour modéliser les interactions entre caractéristiques profondes, et ont démontré une efficacité élevée. Toutefois, ces méthodes se concentrent principalement sur les corrélations au sein d'une couche spécifique, tout en négligeant largement les interactions complexes entre plusieurs couches. Dans cette étude, nous affirmons qu’intégrer les interactions élevées entre les caractéristiques issues de plusieurs couches peut aider à apprendre des représentations plus discriminantes pour la FGVC. À cette fin, nous proposons une méthode appelée High-Order-Interaction (HOI). Dans notre approche HOI, un pooling trilinéaire efficace entre couches est introduit afin de calculer l’interaction du troisième ordre entre trois couches différentes. Ces interactions du troisième ordre, issues de différentes combinaisons, sont ensuite fusionnées pour former une représentation finale. La méthode HOI permet d’obtenir des représentations plus discriminantes et peut être facilement intégrée aux deux techniques populaires que sont le mécanisme d’attention et la perte triplet, conduisant à une amélioration cumulée. Des expériences étendues menées sur quatre jeux de données FGVC montrent l’importante supériorité de notre méthode par rapport aux approches basées sur le pooling bilinéaire, et démontrent que la méthode proposée atteint l’état de l’art.