Frage-Antwort als Programmierung zur Lösung zeitkritischer Fragen

Fragebeantwortung spielt eine zentrale Rolle im täglichen menschlichen Leben, da sie unsere Wissensgewinnung über die Welt ermöglicht. Aufgrund der dynamischen und ständig sich verändernden Natur realer Fakten kann die Antwort jedoch völlig unterschiedlich ausfallen, wenn sich die zeitliche Einschränkung in der Frage ändert. In jüngster Zeit haben große Sprachmodelle (Large Language Models, LLMs) beachtliche Intelligenz in der Fragebeantwortung demonstriert. Dennoch zeigen unsere Experimente, dass die oben genannten Probleme bestehenden LLMs weiterhin erhebliche Herausforderungen darstellen. Dies liegt an der Unfähigkeit der LLMs, auf der Grundlage der oberflächlichen Textsemantik rigorose Schlussfolgerungen zu ziehen. Um diese Beschränkung zu überwinden, schlagen wir anstelle der direkten Fragebeantwortung durch LLMs einen neuartigen Ansatz vor, bei dem wir die Aufgabe der FrageAntwortung als Programmierung (QAaP) neu formulieren. Konkret nutzen wir die herausragende Fähigkeit moderner LLMs, sowohl natürliche Sprache als auch Programmiersprachen zu verstehen, um LLMs dazu zu befähigen, vielfältig formulierte Texte als gut strukturierten Code darzustellen und mithilfe von Programmierung die passendste Antwort aus mehreren Kandidaten auszuwählen. Wir evaluieren unseren QAaP-Framework an mehreren zeitabhängigen Fragebeantwortungs-Datensätzen und erzielen eine beachtliche Verbesserung, bis zu 14,5 % gegenüber starken Baselines. Unsere Codes und Daten sind unter https://github.com/TianHongZXY/qaap verfügbar.