Gemeinsames Lernen zur Klassifizierung von Sätzen und Token

Das Lernen von Textrepräsentationen in End-to-End-Systemen kann schwierig sein, da natürliche Sprachen hochgradig kompositionell sind und taskspezifische annotierte Datensätze oft begrenzt in ihrer Größe sind. Methoden zur direkten Überwachung der Sprachkomposition ermöglichen es uns, die Modelle auf der Grundlage bestehender Kenntnisse zu leiten und sie zu robusteren und interpretierbareren Repräsentationen zu regularisieren. In dieser Arbeit untersuchen wir, wie Ziele unterschiedlicher Granularitätsstufen verwendet werden können, um bessere Sprachrepräsentationen zu lernen, und schlagen eine Architektur vor, mit der das Labeling von Sätzen und Tokens gemeinsam gelernt wird. Die Vorhersagen auf jeder Stufe werden durch einen Aufmerksamheitsmechanismus kombiniert, wobei die tokenbasierten Labels auch als explizite Überwachung für die Komposition satzbasierter Repräsentationen dienen. Unsere Experimente zeigen, dass das gemeinsame Lernen dieser Aufgaben auf mehreren Ebenen erhebliche Verbesserungen sowohl für die Satzklassifikation als auch für das Sequenzlabeling bringt.