VarMAE: Vortrainieren eines variationalen maskierten Autoencoders für domainspezifisches Sprachverständnis

Vortrainierte Sprachmodelle haben auf allgemeinen Benchmarks vielversprechende Leistungen erzielt, verlieren jedoch an Performance, wenn sie auf spezifische Domänen übertragen werden. Neuere Ansätze führen entweder das Vortraining von Grund auf oder kontinuierliches Vortraining auf Domänenkorpora durch. In vielen spezifischen Domänen ist jedoch das verfügbare Korpus begrenzt und reicht kaum aus, um präzise Darstellungen zu erzeugen. Um dieses Problem zu lösen, schlagen wir ein neuartiges, auf Transformer basierendes Sprachmodell namens VarMAE für domänenadaptives Sprachverständnis vor. Unter der Masked-Autoencoding-Zielfunktion entwerfen wir ein Modul zur Lernung von Kontextunsicherheit, das den Kontext eines Tokens in eine glatte latente Verteilung kodiert. Dieses Modul ermöglicht die Erzeugung vielfältiger und gut strukturierter kontextueller Darstellungen. Experimente auf NLU-Aufgaben in den Bereichen Wissenschaft und Finanzen zeigen, dass VarMAE effizient auf neue Domänen mit begrenzten Ressourcen angepasst werden kann.