Untersuchung des Einflusses der Korpusvielfalt auf finanzspezialisierte vortrainierte Sprachmodelle

In den vergangenen Jahren wurden verschiedene domain-spezifische vortrainierte Sprachmodelle (PLMs) vorgeschlagen, die in spezialisierten Bereichen wie Biomedizin, Wissenschaft und Klinik allgemeinen Domain-PLMs überlegen sind. Zudem wurden Finanz-PLMs untersucht, da die Analyse finanzieller Daten erhebliche wirtschaftliche Auswirkungen hat. Allerdings stellten wir fest, dass Finanz-PLMs nicht ausreichend vielfältigen Finanzdaten vortrainiert wurden. Dieser Mangel an vielfältigen Trainingsdaten führt zu einer suboptimalen Generalisierungsfähigkeit, wodurch allgemeine PLMs wie BERT auf zahlreichen Nachfolgeaufgaben häufig Finanz-PLMs übertrumpfen. Um dieses Problem anzugehen, sammelten wir eine breite Palette an Finanz-Korpora und trainierten das Financial Language Model (FiLM) auf diesen diversen Datensätzen. Unsere experimentellen Ergebnisse bestätigen, dass FiLM nicht nur bestehende Finanz-PLMs, sondern auch allgemeine Domain-PLMs übertrifft. Darüber hinaus liefern wir empirische Belege dafür, dass diese Verbesserung bereits für bisher nicht gesehene Korpusgruppen erzielt werden kann.