Verbesserung der Slot-Füllung durch die Nutzung kontextueller Informationen

Slot Filling (SF) ist eine der Unter-Aufgaben des Sprachverstehens (Spoken Language Understanding, SLU), die darauf abzielt, semantische Bestandteile aus einer gegebenen natürlichen Sprachäußerung zu extrahieren. Es handelt sich um eine Sequenzmarkierungsaufgabe. In jüngster Zeit wurde gezeigt, dass kontextuelle Informationen für diese Aufgabe entscheidend sind. Allerdings nutzen bestehende Modelle kontextuelle Informationen auf eingeschränkte Weise, beispielsweise durch Selbst-Attention. Solche Ansätze können die Auswirkungen des Kontexts auf die Wortrepräsentation und die Wortbezeichnung (Label) nicht differenzieren. Um dieses Problem anzugehen, schlagen wir in diesem Artikel eine neuartige Methode vor, kontextuelle Informationen auf zwei unterschiedlichen Ebenen einzubinden: auf der Ebene der Repräsentation und auf der task-spezifischen (d. h. Label-) Ebene. Unsere umfangreichen Experimente an drei Benchmark-Datensätzen für SF belegen die Wirksamkeit unseres Modells und erzielen neue SOTA-Ergebnisse (state-of-the-art) auf allen drei Datensätzen für die Aufgabe des Slot Filling.