Extraction de triplets zéro-shot par remplissage de modèle

La tâche d'extraction de triplets vise à extraire des paires d'entités et leurs relations correspondantes à partir de texte non structuré. La plupart des méthodes existantes entraînent un modèle d'extraction sur des données d'entraînement impliquant des relations cibles spécifiques, et ne sont pas capables d'extraire de nouvelles relations qui n'ont pas été observées lors de l'entraînement. La généralisation du modèle à des relations inédites nécessite généralement un ajustement fin sur des données d'entraînement synthétiques, qui sont souvent bruyantes et peu fiables. Nous montrons que, en réduisant l'extraction de triplets à une tâche de remplissage de modèles (templates) au-dessus d'un modèle linguistique (LM) pré-entraîné, nous pouvons doter le modèle d'extraction de capacités d'apprentissage par zéro exemple (zero-shot learning) et éliminer la nécessité de données d'entraînement supplémentaires. Nous proposons un cadre novateur, ZETT (ZEro-shot Triplet extraction by Template infilling), qui aligne l'objectif de la tâche sur l'objectif pré-entraîné des transformateurs génératifs pour généraliser aux relations inédites. Les expériences menées sur les jeux de données FewRel et Wiki-ZSL démontrent que ZETT affiche une performance constante et stable, surpassant les méthodes précédentes les plus avancées, même lorsque des modèles générés automatiquement sont utilisés. https://github.com/megagonlabs/zett/