Die Bewertung semantischer Analyse im Vergleich zu einem einfachen webbasierten Fragebeantwortungsmodell

Semantische Analyse zeichnet sich durch ihre Fähigkeit aus, komplexe natürliche Sprache zu analysieren, die die Zusammensetzung und Berechnung auf der Grundlage mehrerer Beweise erfordert. Allerdings enthalten Datensätze für semantische Analyse viele Faktoiden-Fragen, die aus einem einzelnen Webdokument beantwortet werden können. In dieser Arbeit schlagen wir vor, semantikbasierte Fragebeantwortungsmodelle durch einen Vergleich mit einer Fragebeantwortungs-Basislinie zu evaluieren, die das Web abfragt und die Antwort ausschließlich aus Web-Snippets extrahiert, ohne Zugang zur Zielwissensdatenbank zu haben. Wir untersuchen diesen Ansatz anhand von COMPLEXQUESTIONS, einem Datensatz, der darauf ausgelegt ist, zusammengesetzte Sprache im Fokus zu haben, und stellen fest, dass unser Modell eine akzeptable Leistung erzielt (F1-Wert von 35 im Vergleich zu 41 des aktuellen Standes der Technik). In unserer Analyse finden wir heraus, dass unser Modell bei komplexen Fragen gut abschneidet, die Konjunktionen beinhalten, aber Schwierigkeiten hat bei Fragen, die Relationenzusammensetzungen und Superlativen betreffen.