HyperAIHyperAI

Command Palette

Search for a command to run...

Denken wie Programm-Executor

Xinyu Pi Qian Liu Bei Chen Morteza Ziyadi Zeqi Lin Qiang Fu Yan Gao Jian-Guang Lou Weizhu Chen

Zusammenfassung

Das Schlussfolgern über natürliche Sprache ist ein langfristiges Ziel der Forschungsgemeinschaft. Dennoch haben Studien gezeigt, dass bestehende Sprachmodelle bei der Schlussfolgerung unzureichend sind. Um dieses Problem anzugehen, präsentieren wir POET, ein neuartiges Paradigma für die Vortrainierung mit Schlussfolgerungsfähigkeiten. Durch die Vortrainierung von Sprachmodellen mit Programmen und deren Ausführungsergebnissen ermöglicht POET es diesen, über einen datengestützten Ansatz die Schlussfolgerungswissen von Programmausführern zu erschließen. POET ist konzeptionell einfach und kann durch verschiedene Arten von Programmausführern realisiert werden. In diesem Paper zeigen wir zwei einfache Instanzen, POET-Math und POET-Logic, sowie eine komplexe Instanz, POET-SQL. Experimentelle Ergebnisse auf sechs Benchmarks belegen, dass POET die Leistung von Modellen in der natürlichen Sprachschlussfolgerung erheblich steigert, beispielsweise bei numerischer Schlussfolgerung, logischer Schlussfolgerung und Multi-Hop-Schlussfolgerung. POET eröffnet eine neue Tür für die Vortrainierung zur Verbesserung der Schlussfolgerungsfähigkeiten, und wir hoffen, dass unsere Analyse zukünftige Forschung im Bereich der Schlussfolgerung mithilfe von Programmausführern inspirieren wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Denken wie Programm-Executor | Paper | HyperAI