HyperAIHyperAI

Command Palette

Search for a command to run...

XLM-T: Multilinguale Sprachmodelle in Twitter für Sentiment-Analyse und darüber hinaus

Francesco Barbieri Luis Espinosa Anke Jose Camacho-Collados

Zusammenfassung

Sprachmodelle sind in der aktuellen NLP allgegenwärtig, und ihre multilinguale Fähigkeit hat in letzter Zeit erhebliche Aufmerksamkeit erfahren. Allerdings haben bisherige Analysen nahezu ausschließlich (multilinguale Varianten von) Standardbenchmarks betrachtet und sich auf saubere Pre-Training-Daten sowie aufaufgabenbezogene Korpora als multilinguale Signale gestützt. In diesem Paper stellen wir XLM-T vor, ein Modell zum Training und zur Evaluierung multilanger Sprachmodelle auf Twitter. Wir präsentieren: (1) eine neue, starke multilinguale Baseline, bestehend aus einem XLM-R-Modell (Conneau et al. 2020), das auf Millionen von Tweets in über dreißig Sprachen vortrainiert wurde, zusammen mit Startcode zur anschließenden Feinabstimmung auf eine Zielaufgabe; sowie (2) eine Reihe einheitlicher Sentiment-Analyse-Datensätze für Twitter in acht verschiedenen Sprachen sowie ein XLM-T-Modell, das auf diesen Datensätzen feinabgestimmt wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
XLM-T: Multilinguale Sprachmodelle in Twitter für Sentiment-Analyse und darüber hinaus | Paper | HyperAI