HyperAIHyperAI

Command Palette

Search for a command to run...

Neubewertung durch Abruf: Treue Inferenz großer Sprachmodelle

Hangfeng He Hongming Zhang Dan Roth

Zusammenfassung

Trotz des Erfolgs großer Sprachmodelle (LLMs) bei verschiedenen Aufgaben des natürlichen Sprachverstehens (NLP) kann das in diesen Modellen gespeicherte Wissen zwangsläufig unvollständig, veraltet oder falsch sein. Dies begründet den Bedarf, externe Wissensquellen zur Unterstützung von LLMs zu nutzen. Leider erfordern derzeitige Methoden zur Integration externen Wissens oft zusätzliche Trainings- oder Feinabstimmungsphasen, was kostspielig ist und für große Sprachmodelle möglicherweise nicht praktikabel ist. Um dieses Problem zu lösen, schlagen wir einen neuartigen Nachverarbeitungsansatz vor, genannt „Rethinking with Retrieval“ (RR), der basierend auf den aus dem Chain-of-Thought (CoT)-Prompting gewonnenen, zerlegten Schlussfolgerungsschritten relevante externe Wissensinhalte abruft. Dieser leichtgewichtige Ansatz erfordert weder zusätzliche Training noch Feinabstimmung und ist nicht durch die Eingabelänge der LLMs begrenzt. Wir evaluieren die Wirksamkeit von RR anhand umfangreicher Experimente mit GPT-3 auf drei anspruchsvollen Schlussfolgerungsaufgaben: Alltagswissen-Schlussfolgerung, zeitliche Schlussfolgerung und tabellarische Schlussfolgerung. Unsere Ergebnisse zeigen, dass RR zu glaubwürdigeren Erklärungen führt und die Leistungsfähigkeit von LLMs verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neubewertung durch Abruf: Treue Inferenz großer Sprachmodelle | Paper | HyperAI