Apprentissage contrastif multi-similaire

Étant donné une métrique de similarité, les méthodes contrastives apprennent une représentation dans laquelle les exemples similaires sont rapprochés et les exemples dissimilaires éloignés. Les techniques d’apprentissage contrastif ont été largement utilisées pour apprendre des représentations dans diverses tâches, allant de la classification d’images à la génération de légendes. Toutefois, les approches actuelles d’apprentissage contrastif peuvent échouer à généraliser, car elles ne tiennent pas compte de la possibilité de relations de similarité différentes. Dans cet article, nous proposons une nouvelle perte contrastive multi-similaire (MSCon), qui apprend des embeddings généralisables en exploitant conjointement la supervision provenant de plusieurs métriques de similarité. Notre méthode apprend automatiquement les poids de similarité contrastive en fonction de l’incertitude associée à chaque métrique, en atténuant les tâches incertaines, ce qui conduit à une meilleure généralisation hors domaine pour de nouvelles tâches. Nous démontrons empiriquement que les réseaux entraînés avec MSCon surpassent les meilleures méthodes existantes dans des scénarios in-domain comme hors domaine.