HyperAIHyperAI

Command Palette

Search for a command to run...

Untersuchung des Einflusses der Korpusvielfalt auf finanzspezialisierte vortrainierte Sprachmodelle

Jaeyoung Choe Keonwoong Noh Nayeon Kim Seyun Ahn Woohwan Jung

Zusammenfassung

In den vergangenen Jahren wurden verschiedene domain-spezifische vortrainierte Sprachmodelle (PLMs) vorgeschlagen, die in spezialisierten Bereichen wie Biomedizin, Wissenschaft und Klinik allgemeinen Domain-PLMs überlegen sind. Zudem wurden Finanz-PLMs untersucht, da die Analyse finanzieller Daten erhebliche wirtschaftliche Auswirkungen hat. Allerdings stellten wir fest, dass Finanz-PLMs nicht ausreichend vielfältigen Finanzdaten vortrainiert wurden. Dieser Mangel an vielfältigen Trainingsdaten führt zu einer suboptimalen Generalisierungsfähigkeit, wodurch allgemeine PLMs wie BERT auf zahlreichen Nachfolgeaufgaben häufig Finanz-PLMs übertrumpfen. Um dieses Problem anzugehen, sammelten wir eine breite Palette an Finanz-Korpora und trainierten das Financial Language Model (FiLM) auf diesen diversen Datensätzen. Unsere experimentellen Ergebnisse bestätigen, dass FiLM nicht nur bestehende Finanz-PLMs, sondern auch allgemeine Domain-PLMs übertrifft. Darüber hinaus liefern wir empirische Belege dafür, dass diese Verbesserung bereits für bisher nicht gesehene Korpusgruppen erzielt werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Untersuchung des Einflusses der Korpusvielfalt auf finanzspezialisierte vortrainierte Sprachmodelle | Paper | HyperAI