Kontextbewusstes Transformer-Vortraining für die Auswahl von Antwortsätzen

Answer Sentence Selection (AS2) ist eine zentrale Komponente für die Entwicklung einer präzisen Frage-Antwort-Pipeline. AS2-Modelle ranken eine Menge von Kandidatensätzen basierend darauf, wie wahrscheinlich sie eine gegebene Frage beantworten. Der Stand der Technik im Bereich AS2 nutzt vortrainierte Transformer, indem diese auf großen annotierten Datensätzen transferiert werden, wobei lokal kontextuelle Informationen um den Kandidatensatz herum berücksichtigt werden. In diesem Paper stellen wir drei vortrainierte Zielsetzungen vor, die darauf abzielen, die nachfolgende Feinabstimmungsaufgabe im Kontext von AS2 nachzuahmen. Dadurch kann man Sprachmodelle spezialisieren, wenn sie für kontextuelle AS2-Feinabstimmung eingesetzt werden. Unsere Experimente an drei öffentlichen und zwei großskaligen industriellen Datensätzen zeigen, dass unsere Vortrainingsansätze (auf RoBERTa und ELECTRA angewandt) die Basisgenauigkeit kontextueller AS2 auf bestimmten Datensätzen bis zu 8 % steigern können.