Au-delà de l'attention sur les mots : utilisation de l'attention sur les segments dans l'extraction neurale de relations

Les études sur l'extraction de relations se concentrent sur la prédiction des relations sémantiques entre paires d'entités au sein de phrases. Les mécanismes d'attention sont fréquemment employés dans cette tâche afin de réduire le bruit interne à la phrase en effectuant une sélection douce des mots de manière indépendante. À partir de l'observation selon laquelle les informations pertinentes pour les relations sont généralement contenues dans des segments (suites de mots consécutifs dans une phrase), il devient possible d'exploiter ce phénomène pour améliorer l'extraction. Dans cet article, nous visons à intégrer ces informations de segments dans un extracteur neuronal de relations. Notre approche considère le mécanisme d'attention comme un champ aléatoire conditionnel en chaîne linéaire défini sur un ensemble de variables latentes, dont les arêtes codent la structure souhaitée, et interprète les poids d'attention comme la distribution marginale de chaque mot étant sélectionné comme partie d'une expression relationnelle. Les résultats expérimentaux montrent que notre méthode parvient à focaliser sur des expressions relationnelles continues sans annotation explicite, et atteint des performances de pointe sur le grand jeu de données TACRED.