Effiziente und interpretierbare neuronale Modelle für die Entitätenverfolgung

Was würde es bedeuten, dass ein Sprachmodell einen Roman wie Der Herr der Ringe verstehen kann? Unter anderem müsste ein solches Modell in der Lage sein, (a) neue Charaktere (Entitäten) und deren Eigenschaften zu erkennen und zu speichern, sobald sie im Text eingeführt werden, und (b) nachfolgende Referenzen auf bereits eingeführte Charaktere zu identifizieren und deren Eigenschaften entsprechend zu aktualisieren. Das Problem der Entitätenverfolgung (entity tracking) ist entscheidend für das Sprachverstehen und daher für eine Vielzahl von Anwendungen in der natürlichen Sprachverarbeitung (NLP), wie beispielsweise Fragenbeantwortung und Zusammenfassung.In dieser Arbeit konzentrieren wir uns auf zwei zentrale Herausforderungen im Zusammenhang mit der Nutzung von Entitätenverfolgungsmodellen: (i) die Skalierung von Entitätenverfolgungsmodellen auf lange Dokumente, wie Romane, und (ii) die Integration von Entitätenverfolgung in Sprachmodelle. Die Anwendung von Sprachtechnologien auf lange Dokumente hat in letzter Zeit zunehmend Interesse geweckt, doch bestehen aufgrund von Rechenbeschränkungen erhebliche Hindernisse für die Skalierung der derzeitigen Ansätze. In dieser Arbeit argumentieren wir, dass recheneffiziente Entitätenverfolgungsmodelle entwickelt werden können, indem Entitäten durch reichhaltige, feste dimensionsbasierte Vektorrepräsentationen dargestellt werden, die aus vortrainierten Sprachmodellen abgeleitet sind, und indem der vorübergehende Charakter (ephemere Natur) von Entitäten ausgenutzt wird. Zudem plädieren wir für die Integration von Entitätenverfolgung in Sprachmodelle, da dies ermöglicht: (i) eine breitere Anwendung, da vortrainierte Sprachmodelle derzeit in einer Vielzahl von NLP-Anwendungen ubiquitär eingesetzt werden, und (ii) eine einfachere Einführung, da der Austausch eines neuen vortrainierten Sprachmodells weitaus einfacher ist als die Integration eines separaten, eigenständigen Entitätenverfolgungsmodells.