Beantwortung von Fragen durch Meta-Reasoning über mehrere Ketten des Denkens

Moderne Systeme für Multi-Hop-Fragebeantwortung (QA) zerlegen Fragen typischerweise in eine Folge von Schlussfolgerungsschritten, sogenannte Chain-of-Thought (CoT), bevor sie zu einer endgültigen Antwort gelangen. Häufig werden mehrere Ketten generiert und deren Endantworten über ein Abstimmungsverfahren aggregiert, wobei die Zwischenschritte selbst jedoch verworfen werden. Obwohl solche Ansätze die Leistungsfähigkeit verbessern, berücksichtigen sie weder die Beziehungen zwischen Zwischenschritten verschiedener Ketten noch liefern sie eine einheitliche Erklärung für die vorhergesagte Antwort. Wir stellen Multi-Chain Reasoning (MCR) vor, einen Ansatz, der große Sprachmodelle anweist, über mehrere Ketten von Gedankengängen meta-reasoning zu betreiben, anstatt lediglich ihre Antworten zu aggregieren. MCR analysiert verschiedene Schlussfolgerungsketten, kombiniert Informationen zwischen ihnen und wählt die relevantesten Fakten aus, um eine Erklärung zu generieren und die Antwort vorherzusagen. MCR erreicht auf sieben Multi-Hop-QA-Datensätzen eine bessere Leistung als starke Baselines. Darüber hinaus zeigt unsere Analyse, dass die Erklärungen von MCR eine hohe Qualität aufweisen und es Menschen ermöglichen, die Antworten nachzuvollziehen.