Auf die Zeichen achten in neuronalen Sequenzlabeling-Modellen

Sequenzmarkierungsarchitekturen verwenden Wort-Einbettungen (word embeddings), um Ähnlichkeiten zu erfassen, leiden aber bei der Verarbeitung von bisher unbekannten oder seltenen Wörtern. Wir untersuchen erweiterte Charakter-Level-Modelle und schlagen eine neuartige Architektur zur Kombination alternativer Wortrepräsentationen vor. Durch die Verwendung eines Aufmerksamkeitsmechanismus (attention mechanism) ist das Modell in der Lage, dynamisch zu entscheiden, wie viel Information es von einer Wort- oder Charakter-Level-Komponente verwendet. Wir haben verschiedene Architekturen anhand einer Reihe von Sequenzmarkierungsdatensätzen evaluiert, und es zeigte sich, dass Charakter-Level-Erweiterungen die Leistung auf jedem Benchmark verbesserten. Darüber hinaus lieferte die vorgeschlagene aufmerksamkeitsbasierte Architektur die besten Ergebnisse, selbst bei einer geringeren Anzahl von trainierbaren Parametern.