Re2G : Récupérer, Reclassement, Générer

Comme le montrent GPT-3 et T5, les transformers gagnent en capacité lorsque l'espace de paramètres s'élargit de plus en plus. Cependant, pour les tâches nécessitant une grande quantité de connaissances, la mémoire non paramétrique permet aux modèles de croître considérablement avec une augmentation sous-linéaire des coûts de calcul et des exigences en mémoire GPU. Des modèles récents comme RAG et REALM ont intégré la recherche d'information à la génération conditionnelle. Ces modèles incorporent une recherche initiale neuronale dans un corpus de passages. Nous nous appuyons sur cette ligne de recherche en proposant Re2G, qui combine à la fois la recherche initiale neuronale et le reranking dans une génération séquence-à-séquence basée sur BART. Notre approche de reranking permet également de fusionner les résultats de recherche provenant de sources ayant des scores incomparables, ce qui facilite l'utilisation conjointe du BM25 et de la recherche initiale neuronale. Pour entraîner notre système dans son ensemble, nous introduisons une nouvelle variation du distillation de connaissances afin d'entraîner la recherche initiale, le reranker et la génération en utilisant uniquement des données vérités terrain sur la séquence cible générée. Nous constatons d'importants gains dans quatre tâches variées : le remplissage de slots à vue zéro (zero-shot slot filling), le questionnement-réponse (question answering), le vérification des faits (fact-checking) et le dialogue, avec des gains relatifs allant de 9% à 34% par rapport à l'état de l'art précédent sur le classement KILT. Nous mettons notre code à disposition sous licence open source à l'adresse suivante : https://github.com/IBM/kgi-slot-filling/tree/re2g.