Neubewertung durch Abruf: Treue Inferenz großer Sprachmodelle

Trotz des Erfolgs großer Sprachmodelle (LLMs) bei verschiedenen Aufgaben des natürlichen Sprachverstehens (NLP) kann das in diesen Modellen gespeicherte Wissen zwangsläufig unvollständig, veraltet oder falsch sein. Dies begründet den Bedarf, externe Wissensquellen zur Unterstützung von LLMs zu nutzen. Leider erfordern derzeitige Methoden zur Integration externen Wissens oft zusätzliche Trainings- oder Feinabstimmungsphasen, was kostspielig ist und für große Sprachmodelle möglicherweise nicht praktikabel ist. Um dieses Problem zu lösen, schlagen wir einen neuartigen Nachverarbeitungsansatz vor, genannt „Rethinking with Retrieval“ (RR), der basierend auf den aus dem Chain-of-Thought (CoT)-Prompting gewonnenen, zerlegten Schlussfolgerungsschritten relevante externe Wissensinhalte abruft. Dieser leichtgewichtige Ansatz erfordert weder zusätzliche Training noch Feinabstimmung und ist nicht durch die Eingabelänge der LLMs begrenzt. Wir evaluieren die Wirksamkeit von RR anhand umfangreicher Experimente mit GPT-3 auf drei anspruchsvollen Schlussfolgerungsaufgaben: Alltagswissen-Schlussfolgerung, zeitliche Schlussfolgerung und tabellarische Schlussfolgerung. Unsere Ergebnisse zeigen, dass RR zu glaubwürdigeren Erklärungen führt und die Leistungsfähigkeit von LLMs verbessert.