HyperAIHyperAI

Command Palette

Search for a command to run...

Modellierung von Label-Korrelationen für ultra-feine Entitätstypisierung mit neuronalem paarweisen bedingten zufälligen Feld

Chengyue Jiang Yong Jiang Weiqi Wu Pengjun Xie Kewei Tu

Zusammenfassung

Ultra-feine Entitätstypisierung (UFET) zielt darauf ab, eine große Vielzahl von Typphrasen vorherzusagen, die die Kategorien einer gegebenen Entitätsmention in einem Satz korrekt beschreiben. Die meisten aktuellen Ansätze schätzen jeden Entitätstyp unabhängig voneinander vorher, wodurch Korrelationen zwischen Typen ignoriert werden – beispielsweise sollte eine Entität, die als Präsident klassifiziert wird, auch gleichzeitig als Politiker und Führer gelten. Um dies zu adressieren, formulieren wir das UFET-Problem mithilfe eines ungerichteten grafischen Modells namens Paarweiser bedingter Zufallsfeld (PCRF), bei dem die Typvariablen nicht nur eindeutig durch die Eingabe beeinflusst werden, sondern auch paarweise mit allen anderen Typvariablen verknüpft sind. Wir nutzen verschiedene moderne Backbone-Modelle für die Entitätstypisierung, um eindeutige Potentiale zu berechnen, und leiten paarweise Potentiale aus Darstellungen von Typphrasen ab, die sowohl vorherige semantische Informationen erfassen als auch eine beschleunigte Inferenz ermöglichen. Zur effizienten Typinferenz bei sehr großen Typmengen verwenden wir die Mean-Field-variational Inferenz und implementieren sie als neuronales Netzwerkmodul, um eine end-to-end-Trainierbarkeit zu ermöglichen. Experimente auf UFET-Daten zeigen, dass Neural-PCRF konsistent die Leistung seiner Backbone-Modelle übertrifft, mit geringem Zusatzaufwand, und dabei eine konkurrenzfähige Performance gegenüber state-of-the-art-Methoden basierend auf Cross-Encodern erreicht, jedoch tausendfach schneller ist. Zudem stellen wir fest, dass Neural-PCRF auch auf einem weit verbreiteten, fein granularen Entitätstypisierungsdatensatz mit einer kleineren Typmenge wirksam ist. Wir haben Neural-PCRF als eigenständiges Netzwerkmodul implementiert, das problemlos in Multi-Label-Typklassifikatoren integriert werden kann, und stellen es unter https://github.com/modelscope/adaseq/tree/master/examples/NPCRF zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp