KILT : un benchmark pour les tâches linguistiques intensives en connaissances

Des problèmes complexes tels que la réponse à des questions dans un domaine ouvert, la vérification de faits, le remplissage de champs (slot filling) et l’association d’entités exigent un accès à de grandes sources externes de connaissances. Bien que certains modèles se distinguent sur des tâches individuelles, le développement de modèles généraux s’avère difficile, car chaque tâche peut nécessiter un indexage coûteux en ressources de sources de connaissances personnalisées, ainsi qu’une infrastructure dédiée. Pour stimuler la recherche sur des modèles capables de s’appuyer sur des informations spécifiques contenues dans de vastes ressources textuelles, nous présentons un benchmark pour les tâches linguistiques intensives en connaissances (KILT). Toutes les tâches du cadre KILT sont ancrées dans le même instantané de Wikipedia, ce qui réduit le temps de développement grâce à la réutilisation de composants communs, tout en accélérant les recherches sur des architectures de mémoire agnostiques aux tâches. Nous évaluons à la fois des modèles spécifiques à chaque tâche et des modèles généraux, en mesurant non seulement leurs performances en aval, mais aussi leur capacité à fournir une traçabilité (provenance) des réponses. Nous constatons qu’un index vectoriel dense partagé couplé à un modèle seq2seq constitue une base solide, surpassant des approches plus spécialisées pour la vérification de faits, la réponse à des questions dans un domaine ouvert et les dialogues, tout en obtenant des résultats compétitifs sur l’association d’entités et le remplissage de champs, en générant des textes désambiguïsés. Les données et le code de KILT sont disponibles à l’adresse suivante : https://github.com/facebookresearch/KILT.