Denken wie Programm-Executor

Das Schlussfolgern über natürliche Sprache ist ein langfristiges Ziel der Forschungsgemeinschaft. Dennoch haben Studien gezeigt, dass bestehende Sprachmodelle bei der Schlussfolgerung unzureichend sind. Um dieses Problem anzugehen, präsentieren wir POET, ein neuartiges Paradigma für die Vortrainierung mit Schlussfolgerungsfähigkeiten. Durch die Vortrainierung von Sprachmodellen mit Programmen und deren Ausführungsergebnissen ermöglicht POET es diesen, über einen datengestützten Ansatz die Schlussfolgerungswissen von Programmausführern zu erschließen. POET ist konzeptionell einfach und kann durch verschiedene Arten von Programmausführern realisiert werden. In diesem Paper zeigen wir zwei einfache Instanzen, POET-Math und POET-Logic, sowie eine komplexe Instanz, POET-SQL. Experimentelle Ergebnisse auf sechs Benchmarks belegen, dass POET die Leistung von Modellen in der natürlichen Sprachschlussfolgerung erheblich steigert, beispielsweise bei numerischer Schlussfolgerung, logischer Schlussfolgerung und Multi-Hop-Schlussfolgerung. POET eröffnet eine neue Tür für die Vortrainierung zur Verbesserung der Schlussfolgerungsfähigkeiten, und wir hoffen, dass unsere Analyse zukünftige Forschung im Bereich der Schlussfolgerung mithilfe von Programmausführern inspirieren wird.