Résumé multi-document ouvert : une étude complète de la fragilité des modèles face à la récupération

La synthèse de documents multi-articles (MDS) suppose qu’un ensemble de documents liés à un même sujet soit fourni en entrée. En pratique, cet ensemble de documents n’est pas toujours disponible ; il doit être récupéré à partir d’un besoin d’information, c’est-à-dire une question ou une déclaration de sujet, dans un cadre que nous désignons par « MDS à domaine ouvert ». Nous étudions ce cadre plus exigeant en formalisant la tâche et en la mettant en œuvre à l’aide de jeux de données existants, de systèmes de récupération et de systèmes de synthèse. Grâce à des évaluations automatiques et humaines approfondies, nous constatons : (1) les meilleurs systèmes de synthèse actuels subissent une baisse importante de performance lorsqu’ils sont appliqués à la MDS à domaine ouvert ; (2) une formation supplémentaire dans ce cadre ouvert peut atténuer cette sensibilité aux résultats de récupération imparfaits ; (3) les systèmes de synthèse sont insensibles à la présence de documents dupliqués ou à l’ordre des documents récupérés, mais très sensibles à d’autres erreurs, notamment la récupération de documents non pertinents. À partir de ces résultats, nous proposons des directives pratiques pour guider les travaux futurs sur la MDS à domaine ouvert, par exemple comment choisir le nombre de documents à récupérer et à synthétiser. Nos résultats indiquent qu’il est nécessaire de développer de nouveaux méthodes de récupération et de synthèse, ainsi que de nouvelles ressources annotées pour l’entraînement et l’évaluation, afin d’assurer des progrès significatifs dans ce cadre.