Command Palette
Search for a command to run...
Génération robuste augmentée de récupération pour le remplissage de slots en zero-shot
Génération robuste augmentée de récupération pour le remplissage de slots en zero-shot
Michael Glass; Gaetano Rossiello; Md Faisal Mahbub Chowdhury; Alfio Gliozzo
Résumé
L'induction automatique de graphes de connaissances de haute qualité à partir d'une collection donnée de documents reste un problème difficile dans le domaine de l'IA. Une façon d'avancer sur ce problème est par des progrès dans une tâche connexe appelée remplissage de slots (slot filling). Dans cette tâche, étant donné une requête d'entité sous la forme [Entité, Slot, ?], un système est invité à remplir le slot en générant ou en extrayant la valeur manquante en exploitant les preuves extraites des passages pertinents dans la collection de documents fournie. Les travaux récents dans ce domaine tentent de résoudre cette tâche de manière intégrée en utilisant des modèles linguistiques basés sur la recherche. Dans cet article, nous présentons une nouvelle approche du remplissage de slots sans exemple préalable (zero-shot) qui étend la recherche de passages denses avec des négatifs difficiles et des procédures d'entraînement robustes pour les modèles génératifs augmentés par la recherche. Notre modèle rapporte d'importantes améliorations sur les jeux de données T-REx et zsRE pour le remplissage de slots, améliorant tant la recherche de passages que la génération des valeurs des slots, et se classe en première position du classement KILT. De plus, nous démontrons la robustesse de notre système en montrant sa capacité d'adaptation à différents domaines sur une nouvelle variante du jeu de données TACRED pour le remplissage de slots, grâce à une combinaison d'apprentissage sans exemple préalable (zero-shot) et avec peu d'exemples (few-shot). Nous mettons à disposition le code source et les modèles pré-entraînés.