Récupération de faisceau bout-à-bout pour la réponse à des questions à plusieurs étapes

La question réponse multi-sauts (QA) consiste à identifier plusieurs passages pertinents et à appliquer un raisonnement étape par étape pour répondre à des questions complexes, illustrant ainsi un paradigme de récupération et de lecture. Toutefois, les systèmes de récupération précédents étaient spécifiquement conçus pour les questions à deux sauts, et la plupart d’entre eux étaient entraînés de manière indépendante à chaque saut, ce qui entraînait un manque de supervision sur l’ensemble du processus de récupération multi-sauts et une performance médiocre dans des scénarios complexes dépassant deux sauts. Dans ce travail, nous introduisons Beam Retrieval, un cadre de récupération en filet (beam) end-to-end pour la QA multi-sauts. Cette approche modélise le processus de récupération multi-sauts de manière end-to-end en optimisant conjointement un encodeur et deux têtes de classification à travers tous les sauts. En outre, Beam Retrieval maintient plusieurs hypothèses partielles de passages pertinents à chaque étape, élargissant ainsi l’espace de recherche et réduisant le risque de manquer des passages pertinents. Pour constituer un système complet de QA, nous intégrons un lecteur supervisé ou un grand modèle linguistique (LLM). Les résultats expérimentaux montrent que Beam Retrieval obtient une amélioration d’environ 50 % par rapport aux méthodes de référence sur le jeu de données exigeant MuSiQue-Ans, et dépasse tous les récupérateurs antérieurs sur HotpotQA, atteignant une précision de 99,9 % sur 2WikiMultiHopQA. En fournissant un contexte de haute qualité, Beam Retrieval permet à notre lecteur supervisé d’atteindre de nouveaux records d’état de l’art, tout en améliorant de manière significative la performance en peu d’exemples des LLMs.