AlignMixup : Amélioration des représentations par interpolation de caractéristiques alignées

Le mixup est une méthode puissante d’augmentation de données qui consiste à interpoler entre deux ou plusieurs exemples dans l’espace d’entrée ou dans l’espace des caractéristiques, ainsi que entre les étiquettes cibles correspondantes. De nombreuses méthodes récentes de mixup se concentrent sur le découpage et le collage de deux ou plusieurs objets dans une même image, ce qui relève davantage d’une approche efficace que d’une véritable interpolation. Toutefois, la manière optimale d’interpoler des images n’est pas encore bien définie. À cet égard, le mixup a été lié aux autoencodeurs, car ceux-ci « interpolent souvent efficacement » : par exemple, ils peuvent générer une image qui se déforme continûment en une autre.Dans ce travail, nous revisitons le mixup du point de vue de l’interpolation et introduisons AlignMix, une méthode qui aligne géométriquement deux images dans l’espace des caractéristiques. Ces correspondances permettent d’interpoler entre deux ensembles de caractéristiques tout en conservant les positions d’un des ensembles. De façon intéressante, cette approche donne lieu à une situation où le mixup préserve essentiellement la géométrie ou la pose d’une image tout en conservant la texture de l’autre, ce qui le rapproche de la transfert de style. Plus encore, nous montrons qu’un autoencodeur peut continuer à améliorer l’apprentissage de représentations sous mixup, même si le classificateur n’a jamais vu d’images décodées. AlignMix surpasser les méthodes de mixup de pointe sur cinq benchmarks différents.