Duolin Sun Dan Yang Yue Shen Yihan Jiao Zhehao Tan Jie Feng Lianzhen Zhong Jian Wang Peng Wei Jinjie Gu

Abstract

Der Retrieval-Augmented Generation (RAG)-Ansatz verbessert Frage-Antwort-Systeme und Dialoggenerierungsaufgaben, indem er Informationsretrieval-(IR)-Technologien mit großen Sprachmodellen (LLMs) kombiniert. Diese Strategie, bei der Informationen aus externen Wissensbasen abgerufen werden, um die Antwortfähigkeit generativer Modelle zu stärken, hat bereits einige Erfolge erzielt. Dennoch stehen aktuelle RAG-Methoden bei der Behandlung von Multi-Hop-Abfragen vor zahlreichen Herausforderungen. Beispielsweise verlassen sich einige Ansätze zu stark auf iterative Abfragen, wodurch zu viele Retrieval-Schritte für komplexe, zusammengesetzte Abfragen verschwendet werden. Zudem kann die Verwendung der ursprünglichen, komplexen Abfrage für die Recherche dazu führen, dass Inhalte, die spezifisch für einzelne Teilabfragen relevant sind, nicht angemessen erfasst werden, was zu störendem, rauschhaftem Retrieval-Inhalt führt. Bleibt dieser Rausch unbehoben, kann dies zur sogenannten Rauschakku­mulation führen. Um diese Probleme anzugehen, stellen wir HANRAG vor – einen neuartigen, heuristisch gestützten Rahmen, der effizient mit Aufgaben unterschiedlicher Komplexität umgehen kann. Getrieben durch einen leistungsfähigen „Revelator“ leitet HANRAG Abfragen weiter, zerlegt sie in Teilabfragen und filtert Rauschen aus den abgerufenen Dokumenten heraus. Dadurch wird die Anpassungsfähigkeit und Rauschresistenz des Systems erhöht, sodass es besonders gut in der Bewältigung vielfältiger Abfragen geeignet ist. Wir vergleichen den vorgeschlagenen Rahmen mit anderen führenden Ansätzen aus der Industrie anhand verschiedener Benchmarks. Die Ergebnisse zeigen, dass unser Ansatz sowohl bei Ein-Hop- als auch bei Multi-Hop-Frage-Antwort-Aufgaben eine überlegene Leistung erzielt.