Extraction de triplets contrastifs avec un transformateur génératif

L’extraction de triplets est une tâche essentielle dans l’extraction d’information pour le traitement du langage naturel et la construction de graphes de connaissances. Dans cet article, nous revisitons la tâche d’extraction de triplets en bout à bout pour la génération séquentielle. Étant donné que l’extraction de triplets générative peut éprouver des difficultés à capturer des dépendances à long terme et à produire des triplets non fidèles, nous introduisons un nouveau modèle, appelé extraction de triplets contrastive basée sur un transformateur génératif. Plus précisément, nous proposons un module unique partagé de transformateur pour la génération fondée sur l’architecture encodeur-décodeur. Afin de garantir la fidélité des résultats, nous proposons un nouvel objectif d’entraînement contrastif pour les triplets. En outre, nous introduisons deux mécanismes complémentaires pour améliorer davantage les performances du modèle (à savoir, un masquage dynamique d’attention par lot et une calibration par triplet). Les résultats expérimentaux sur trois jeux de données (NYT, WebNLG et MIE) montrent que notre approche obtient des performances supérieures à celles des méthodes de référence.