Ancrage de Phrases par Champs Aléatoires Conditionnels à Étiquettes Douces

La tâche de mise en correspondance de phrases vise à associer chaque mention d'entité dans une légende donnée d'une image à une région correspondante de cette image. Bien qu'il existe des dépendances claires entre la manière dont différentes mentions de la même légende doivent être mises en correspondance, les méthodes précédentes de prédiction structurée visant à capturer ces dépendances ont dû recourir à des inférences approximatives ou à des pertes non différentiables. Dans cet article, nous formulons la mise en correspondance de phrases comme une tâche d'étiquetage séquentiel où nous traitons les régions candidates comme des étiquettes potentielles, et utilisons des champs aléatoires conditionnels (CRF) chaîne neuronaux pour modéliser les dépendances entre les régions pour les mentions adjacentes. Contrairement aux tâches d'étiquetage séquentiel standard, la tâche de mise en correspondance de phrases est définie de telle sorte qu'il peut y avoir plusieurs régions candidates correctes. Pour aborder cette multiplicité d'étiquettes dorées, nous définissons ce que nous appelons des CRF chaîne à étiquettes douces (Soft-Label Chain CRFs), et présentons un algorithme qui permet une formation pratique du début à la fin. Notre méthode établit un nouveau niveau d'excellence dans la mise en correspondance de phrases sur le jeu de données Flickr30k Entities. L'analyse montre que notre modèle bénéficie tant des dépendances d'entités capturées par le CRF que du régime d'entraînement avec étiquettes douces. Notre code est disponible à l'adresse \url{github.com/liujch1998/SoftLabelCCRF}.