TAPAS: Schwach beschriftete Tabellenparsung durch Vortrainierung

Die Beantwortung natürlicher Sprachfragen über Tabellen wird üblicherweise als semantische Parsaufgabe betrachtet. Um die Kosten für die Erhebung vollständiger logischer Formen zu verringern, setzt ein verbreiteter Ansatz auf schwache Supervision basierend auf Denotationen anstelle logischer Formen. Die Ausbildung semantischer Parser aus schwacher Supervision birgt jedoch erhebliche Schwierigkeiten, und zudem dienen die generierten logischen Formen lediglich als Zwischenschritt vor der Abfrage der Denotation. In diesem Artikel stellen wir TAPAS vor, einen Ansatz zur Fragebeantwortung über Tabellen, der auf die Generierung logischer Formen verzichtet. TAPAS wird aus schwacher Supervision trainiert und bestimmt die Denotation durch die Auswahl von Tabellenzellen, wobei gegebenenfalls ein entsprechender Aggregationsoperator auf diese Auswahl angewendet wird. TAPAS erweitert die Architektur von BERT, um Tabellen als Eingabe zu kodieren, initialisiert sich aus einer effektiven gemeinsamen Vortrainierung von Textabschnitten und aus Wikipedia abgerufenen Tabellen und wird end-to-end trainiert. Wir testen TAPAS an drei verschiedenen semantischen Pars-Datensätzen und stellen fest, dass TAPAS semantische Pars-Modelle übertrifft oder mit ihnen konkurriert, indem die bisher beste Genauigkeit auf SQA von 55,1 auf 67,2 steigt, und auf WIKISQL und WIKITQ mit dem Stand der Technik vergleichbar ist, jedoch mit einer vereinfachten Modellarchitektur. Zudem zeigen wir, dass Transferlernen – in unserer Einstellung trivial – von WIKISQL auf WIKITQ eine Genauigkeit von 48,7 erzielt, also 4,2 Punkte über dem bisherigen Stand der Technik liegt.