FinBERT: Finanzsentimentanalyse mit vorgefertigten Sprachmodellen

Die Analyse von Finanzstimmungen ist eine herausfordernde Aufgabe aufgrund der spezialisierten Sprache und des Mangels an etikettierten Daten in diesem Bereich. Allgemeine Modelle sind aufgrund der im finanzwissenschaftlichen Kontext verwendeten Fachsprache nicht ausreichend effektiv. Wir gehen davon aus, dass vortrainierte Sprachmodelle bei diesem Problem helfen können, da sie weniger etikettierte Beispiele benötigen und sich auf domänenspezifische Korpora weiter trainieren lassen. Wir stellen FinBERT vor, ein auf BERT basierendes Sprachmodell, das entwickelt wurde, um NLP-Aufgaben im Finanzbereich zu bewältigen. Unsere Ergebnisse zeigen Verbesserungen in jeder gemessenen Metrik im Vergleich zu den aktuellen Stand-der-Technik-Ergebnissen für zwei Finanzstimmungsanalyse-Datensätze. Wir feststellen, dass sogar mit einem kleineren Trainingsset und nur dem Feinjustieren eines Teils des Modells FinBERT die Stand-der-Technik-Maschinelles-Lernen-Methoden übertrifft.