Die Robustheit von Retrieval-augmentierten Sprachmodellen gegenüber irrelevantem Kontext verbessern

Retrieval-augmented language models (RALMs) versprechen die Entwicklung von Sprachverstehenssystemen, die faktisch, effizient und aktuell sind. Ein wesentlicher Anspruch an RALMs ist, dass abgerufene Informationen die Modellleistung verbessern, wenn sie relevant sind, und die Leistung nicht beeinträchtigen, wenn sie irrelevant sind. Dies ist besonders in Szenarien mit mehrstufiger Schlussfolgerung (multi-hop reasoning) von Bedeutung, da die falsche Nutzung irrelevanter Hinweise zu kaskadenartigen Fehlern führen kann. Allerdings hat jüngste Forschung gezeigt, dass die Retrieval-Augmentation die Leistung manchmal sogar negativ beeinflussen kann. In dieser Arbeit präsentieren wir eine umfassende Analyse an fünf Benchmarks für offene Domänen-Fragebeantwortung, um die Fälle zu charakterisieren, in denen das Retrieval die Genauigkeit verringert. Anschließend schlagen wir zwei Methoden zur Milderung dieses Problems vor. Erstens ein einfacher Baseline-Ansatz, der abgerufene Textpassagen filtert, die gemäß einem Natural Language Inference (NLI)-Modell keine Implikationen für die Frage-Antwort-Paare enthalten. Dieser Ansatz ist wirksam, um eine Leistungseinbuße zu verhindern, hat jedoch den Nachteil, dass auch relevante Passagen verworfen werden. Daher schlagen wir eine Methode vor, um automatisch Trainingsdaten zu generieren, um das Sprachmodell darauf zu feinabstimmen, abgerufene Informationen angemessen zu nutzen, indem wir während des Trainings eine Mischung aus relevanten und irrelevanten Kontexten verwenden. Wir zeigen empirisch, dass bereits 1.000 solcher Beispiele ausreichen, um das Modell robust gegenüber irrelevanten Kontexten zu machen, während gleichzeitig eine hohe Leistung bei Beispielen mit relevanten Kontexten erhalten bleibt.