Ausrichten, Maskieren und Auswählen: Eine Einfache Methode zur Einbeziehung von Alltagswissen in Sprachrepräsentationsmodelle

Die neuesten vortrainierten Sprachrepräsentationsmodelle, wie das bidirektionale Encoder-Modell auf Basis von Transformers (BERT), integrieren in der Regel nur selten Alltagswissen oder anderes Wissen explizit. Wir schlagen einen Vortrainierungsansatz vor, um Alltagswissen in Sprachrepräsentationsmodelle zu integrieren. Dazu erstellen wir ein mehrfachauswahl-basiertes Fragebeantwortungs-Datensatz, der sich auf Alltagswissen bezieht, um ein neuronales Sprachrepräsentationsmodell vorzutrainieren. Der Datensatz wird automatisch durch unser vorgeschlagenes "Anpassen, Maskieren und Auswählen" (AMS)-Verfahren erstellt. Zudem untersuchen wir verschiedene Vortrainieraufgaben. Die experimentellen Ergebnisse zeigen, dass die Vortrainierung mit dem vorgeschlagenen Ansatz und anschließendes Feinjustieren erhebliche Verbesserungen gegenüber den bisherigen besten Modellen auf zwei Alltagswissens-basierten Benchmarks, einschließlich CommonsenseQA und Winograd Schema Challenge, erreicht. Wir stellen auch fest, dass die nach dem vorgeschlagenen Vortrainierungsansatz feingestellten Modelle vergleichbare Leistungen bei anderen NLP-Aufgaben wie Satzklassifikation und natürlichsprachlicher Inferenz zeigen, verglichen mit den ursprünglichen BERT-Modellen. Diese Ergebnisse bestätigen, dass der vorgeschlagene Ansatz die allgemeinen Sprachrepräsentationsfähigkeiten nicht verschlechtert, während er bei Alltagswissens-basierten NLP-Aufgaben erhebliche Verbesserungen bringt.