HyperAIHyperAI

Command Palette

Search for a command to run...

VarMAE: Vortrainieren eines variationalen maskierten Autoencoders für domainspezifisches Sprachverständnis

Dou Hu Xiaolong Hou Xiyang Du Mengyuan Zhou Lianxin Jiang Yang Mo Xiaofeng Shi

Zusammenfassung

Vortrainierte Sprachmodelle haben auf allgemeinen Benchmarks vielversprechende Leistungen erzielt, verlieren jedoch an Performance, wenn sie auf spezifische Domänen übertragen werden. Neuere Ansätze führen entweder das Vortraining von Grund auf oder kontinuierliches Vortraining auf Domänenkorpora durch. In vielen spezifischen Domänen ist jedoch das verfügbare Korpus begrenzt und reicht kaum aus, um präzise Darstellungen zu erzeugen. Um dieses Problem zu lösen, schlagen wir ein neuartiges, auf Transformer basierendes Sprachmodell namens VarMAE für domänenadaptives Sprachverständnis vor. Unter der Masked-Autoencoding-Zielfunktion entwerfen wir ein Modul zur Lernung von Kontextunsicherheit, das den Kontext eines Tokens in eine glatte latente Verteilung kodiert. Dieses Modul ermöglicht die Erzeugung vielfältiger und gut strukturierter kontextueller Darstellungen. Experimente auf NLU-Aufgaben in den Bereichen Wissenschaft und Finanzen zeigen, dass VarMAE effizient auf neue Domänen mit begrenzten Ressourcen angepasst werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp