Modellierung von Label-Korrelationen für ultra-feine Entitätstypisierung mit neuronalem paarweisen bedingten zufälligen Feld

Ultra-feine Entitätstypisierung (UFET) zielt darauf ab, eine große Vielzahl von Typphrasen vorherzusagen, die die Kategorien einer gegebenen Entitätsmention in einem Satz korrekt beschreiben. Die meisten aktuellen Ansätze schätzen jeden Entitätstyp unabhängig voneinander vorher, wodurch Korrelationen zwischen Typen ignoriert werden – beispielsweise sollte eine Entität, die als Präsident klassifiziert wird, auch gleichzeitig als Politiker und Führer gelten. Um dies zu adressieren, formulieren wir das UFET-Problem mithilfe eines ungerichteten grafischen Modells namens Paarweiser bedingter Zufallsfeld (PCRF), bei dem die Typvariablen nicht nur eindeutig durch die Eingabe beeinflusst werden, sondern auch paarweise mit allen anderen Typvariablen verknüpft sind. Wir nutzen verschiedene moderne Backbone-Modelle für die Entitätstypisierung, um eindeutige Potentiale zu berechnen, und leiten paarweise Potentiale aus Darstellungen von Typphrasen ab, die sowohl vorherige semantische Informationen erfassen als auch eine beschleunigte Inferenz ermöglichen. Zur effizienten Typinferenz bei sehr großen Typmengen verwenden wir die Mean-Field-variational Inferenz und implementieren sie als neuronales Netzwerkmodul, um eine end-to-end-Trainierbarkeit zu ermöglichen. Experimente auf UFET-Daten zeigen, dass Neural-PCRF konsistent die Leistung seiner Backbone-Modelle übertrifft, mit geringem Zusatzaufwand, und dabei eine konkurrenzfähige Performance gegenüber state-of-the-art-Methoden basierend auf Cross-Encodern erreicht, jedoch tausendfach schneller ist. Zudem stellen wir fest, dass Neural-PCRF auch auf einem weit verbreiteten, fein granularen Entitätstypisierungsdatensatz mit einer kleineren Typmenge wirksam ist. Wir haben Neural-PCRF als eigenständiges Netzwerkmodul implementiert, das problemlos in Multi-Label-Typklassifikatoren integriert werden kann, und stellen es unter https://github.com/modelscope/adaseq/tree/master/examples/NPCRF zur Verfügung.