RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

Retrieval-augmentierte Sprachmodelle können sich besser an Veränderungen im Weltzustand anpassen und Wissen aus dem langen Schwanz integrieren. Die meisten bestehenden Methoden ziehen jedoch lediglich kurze, zusammenhängende Textabschnitte aus einer Retrieval-Korpus heran, was die umfassende Verständnis des Gesamtkontexts eines Dokuments einschränkt. Wir stellen einen neuartigen Ansatz vor, bei dem Textabschnitte rekursiv eingebettet, gruppiert und zusammengefasst werden, um von unten nach oben eine Baumstruktur mit unterschiedlichen Ebenen der Zusammenfassung zu erstellen. Im Inferenzzeitpunkt zieht unser RAPTOR-Modell aus diesem Baum ab, wodurch Informationen über lange Dokumente auf verschiedenen Abstraktionsniveaus integriert werden können. Kontrollierte Experimente zeigen, dass die Verwendung rekursiver Zusammenfassungen gegenüber traditionellen retrieval-augmentierten Sprachmodellen erhebliche Verbesserungen auf mehreren Aufgaben erzielt. Bei Frage-Antwort-Aufgaben, die komplexe, mehrschrittige Schlussfolgerungen erfordern, erreichen wir state-of-the-art Ergebnisse; beispielsweise können wir durch die Kombination von RAPTOR-Abfrage mit GPT-4 die beste Leistung auf der QuALITY-Benchmark um 20 Prozentpunkte in der absoluten Genauigkeit steigern.