HyperAIHyperAI
il y a 17 jours

Utilisation de la construction de graphe de connaissances locales pour scaler les modèles Seq2Seq aux entrées multi-documents

Angela Fan, Claire Gardent, Chloe Braud, Antoine Bordes
Utilisation de la construction de graphe de connaissances locales pour scaler les modèles Seq2Seq aux entrées multi-documents
Résumé

Les tâches ouvertes à domaine basées sur les requêtes en traitement du langage naturel nécessitent une synthèse d’informations provenant de résultats web longs et diversifiés. Les approches actuelles sélectionnent de manière extractive des extraits de texte web en tant qu’entrée pour des modèles de type Séquence à Séquence, en utilisant des méthodes telles que le classement par TF-IDF. Nous proposons de construire une base de connaissances structurée en graphe local pour chaque requête, permettant de compresser les informations issues des recherches web tout en réduisant la redondance. Nous démontrons qu’en linéarisant le graphe pour en faire une séquence d’entrée structurée, les modèles peuvent encoder les représentations du graphe dans un cadre standard de type Séquence à Séquence. Pour deux tâches génératives nécessitant des entrées de texte très longues — la réponse à des questions à long format et la synthèse de documents multiples — l’utilisation de représentations graphiques en entrée permet d’obtenir des performances supérieures à celles obtenues avec des extraits de texte récupérés.

Utilisation de la construction de graphe de connaissances locales pour scaler les modèles Seq2Seq aux entrées multi-documents | Articles de recherche récents | HyperAI