Automatisierte Verkettung von Einbettungen für strukturierte Vorhersage

Vorab trainierte kontextualisierte Einbettungen (Embeddings) sind leistungsfähige Wortrepräsentationen für strukturierte Vorhersageaufgaben. Neuere Arbeiten haben gezeigt, dass durch die Kombination verschiedener Einbettungstypen bessere Wortrepräsentationen erzielt werden können. Die Auswahl der Einbettungen zur Bildung der besten kombinierten Repräsentation variiert jedoch in der Regel je nach Aufgabe und dem Satz von potenziellen Einbettungen, und die ständig wachsende Anzahl an Einbettungstypen macht dieses Problem komplizierter. In dieser Arbeit schlagen wir eine Automatisierung der Kombination von Einbettungen (Automated Concatenation of Embeddings, ACE) vor, um den Prozess der Suche nach besseren Kombinationen von Einbettungen für strukturierte Vorhersageaufgaben zu automatisieren. Diese Vorschläge basieren auf einem Ansatz, der von jüngsten Fortschritten bei der Suchmaschinenarchitektur inspiriert ist. Insbesondere wählt ein Controller abwechselnd eine Kombination von Einbettungen aus, basierend auf seiner aktuellen Einschätzung der Effektivität einzelner Einbettungstypen für eine bestimmte Aufgabe, und aktualisiert diese Einschätzung auf Grundlage einer Belohnung. Wir optimieren die Parameter des Controllers unter Verwendung von Strategien des Reinforcement Learnings und berechnen die Belohnung anhand der Genauigkeit eines Aufgabemodells, das mit der ausgewählten Kombination als Eingabe versorgt wird und auf einem Aufgabendatensatz trainiert wird. Empirische Ergebnisse an sechs Aufgaben und 21 Datensätzen zeigen, dass unser Ansatz starke Baseline-Methoden übertrifft und in allen Bewertungen mit feinjustierten Einbettungen den Stand der Technik erreicht.