Aufgabenorientierte Wort-Embedding für die Textklassifikation

Verteilte Wortrepräsentationen spielen eine zentrale Rolle bei verschiedenen Aufgaben des natürlichen Sprachverstehens. Trotz ihres Erfolgs berücksichtigen die meisten bestehenden Methoden lediglich kontextuelle Informationen, was bei der Anwendung auf verschiedene Aufgaben suboptimal ist, da fehlende aufgabe-spezifische Merkmale vorliegen. Rationale Wortembeddings sollten die Fähigkeit besitzen, sowohl semantische als auch aufgabe-spezifische Merkmale von Wörtern zu erfassen. In diesem Artikel stellen wir eine aufgabeorientierte Wortembeddings-Methode vor und wenden sie auf die Textklassifikation an. Durch die Integration eines funktionssensiblen Komponenten regularisiert unsere Methode die Verteilung der Wörter, um sicherzustellen, dass der Embedding-Raum eine klare Klassifikationsgrenze aufweist. Wir evaluieren unsere Methode anhand von fünf Textklassifikationsdatensätzen. Die Experimente zeigen, dass unsere Methode die Stand-of-the-Art-Methoden signifikant übertrifft.