Apprentissage de correspondances partielles latentes avec des réseaux Gumbel-IPF

L’apprentissage de l’appariement d’objets discrets constitue une tâche centrale en apprentissage automatique, souvent facilité par une relaxation continue de la structure d’appariement. Toutefois, les problèmes pratiques impliquent souvent des appariements partiels en raison de correspondances manquantes, ce qui pose des difficultés aux techniques d’appariement un-à-un dominantes dans l’état de l’art. Ce papier présente les réseaux Gumbel-IPF pour l’apprentissage d’appariements partiels latents. Au cœur de notre méthode se trouve une procédure différentiable d’ajustement itératif proportionnel (Iterative Proportional Fitting, IPF), qui projette de manière déséquilibrée sur le polytope de transport des marginales cibles. Notre cadre théorique permet également d’échantillonner à partir de la distribution d’appariement partiel dépendante de la température. Nous analysons les propriétés des relaxations couramment utilisées à travers le prisme de l’ajustement biproportionnel et introduisons une nouvelle métrique, le décalage prédictif empirique. Les avantages de notre méthode sont démontrés par des résultats expérimentaux sur la tâche d’appariement partiel des points clés sémantiques sur les jeux de données Pascal VOC, IMC-PT-SparseGM et CUB2001.