End-to-End Beam-Suche für Multi-Hop-Fragebeantwortung

Die mehrschrittige Fragebeantwortung (Multi-hop Question Answering, QA) erfordert die Identifizierung mehrerer relevanter Passagen sowie schrittweise Schlussfolgerungen, um komplexe Fragen zu beantworten, was ein Retrieve-and-Read-Paradigma widerspiegelt. Bisherige Retriever waren jedoch auf zweistufige Fragen zugeschnitten, und die meisten wurden separat für unterschiedliche Schritte trainiert, was zu einem Mangel an Überwachung über den gesamten mehrschrittigen Retrieval-Prozess führte und die Leistung in komplexeren Szenarien über zwei Schritte hinaus beeinträchtigte. In dieser Arbeit stellen wir Beam Retrieval vor, einen end-to-end-Beam-Retrieval-Framework für die mehrschrittige QA. Dieser Ansatz modelliert den mehrschrittigen Retrieval-Prozess in einer end-to-end-Weise, indem Encoder und zwei Klassifikationsköpfe über alle Schritte gemeinsam optimiert werden. Zudem hält Beam Retrieval zu jedem Schritt mehrere partielle Hypothesen relevanter Passagen aufrecht, was den Suchraum erweitert und das Risiko vermeidet, relevante Passagen zu übersehen. Um ein vollständiges QA-System zu realisieren, integrieren wir einen überwachten Reader oder ein großes Sprachmodell (Large Language Model, LLM). Experimentelle Ergebnisse zeigen, dass Beam Retrieval gegenüber Baselines auf dem anspruchsvollen Datensatz MuSiQue-Ans eine fast 50-prozentige Verbesserung erzielt, außerdem alle vorherigen Retriever auf HotpotQA übertrifft und eine Genauigkeit von 99,9 % auf 2WikiMultiHopQA erreicht. Durch die Bereitstellung hochwertiger Kontextinformationen ermöglicht Beam Retrieval, dass unser überwachter Reader neue SOTA-Leistungen erzielt und die Few-shot-QA-Leistung von LLMs erheblich verbessert wird.