Exploration systématique de la réduction de la redondance dans la synthèse de documents longs

Notre analyse de grands jeux de données de résumé révèle que la redondance constitue un problème très sérieux lors de la synthèse de documents longs. Pourtant, la réduction de la redondance n’a pas été suffisamment explorée dans le cadre des méthodes de résumé neuronaux. Dans ce travail, nous explorons de manière systématique et comparons différentes approches pour traiter la redondance dans le résumé de documents longs. Plus précisément, nous classons les méthodes existantes selon le moment et la manière dont la redondance est prise en compte. Dans le cadre de ces catégories, nous proposons trois nouvelles méthodes permettant de concilier de manière générale et flexible non-redondance et importance. Dans une série d’expériences, nous démontrons que nos méthodes proposées atteignent l’état de l’art en termes de scores ROUGE sur deux jeux de données de publications scientifiques, Pubmed et arXiv, tout en réduisant significativement la redondance.