HyperAIHyperAI

Command Palette

Search for a command to run...

HEProto: Ein hierarchisch verbessertes ProtoNet auf Basis von Multi-Task-Learning für Few-shot Named Entity Recognition

Enhong Chen Yi Zheng Tong Xu Pengfei Luo Lili Zhao Wei Chen

Zusammenfassung

Die Aufgabe des Few-shot Named Entity Recognition (NER), die darauf abzielt, Entitäten aus verschiedenen Domänen mit begrenzten Trainingsbeispielen zu erkennen und zu klassifizieren, gilt seit langem als grundlegender Schritt für die Konstruktion von Wissensgraphen (Knowledge Graphs, KG). Trotz erheblicher Anstrengungen, die zu konkurrenzfähigen Leistungen geführt haben, werden die beiden Teilaufgaben – Spannenerkennung (span detection) und Typklassifikation (type classification) – in der Regel als voneinander unabhängig betrachtet, wodurch Integrität und Korrelation zwischen den Teilaufgaben weitgehend vernachlässigt werden. Darüber hinaus können herkömmliche Ansätze Schwierigkeiten haben, grobkörnige Merkmale von Entitäten zu erfassen, was zu einer semantisch unzureichenden Repräsentation der Entitätstypen führt. Um dieses Problem anzugehen, schlagen wir in diesem Artikel einen hierarchisch verbesserten ProtoNet (HEProto) vor, der auf Multi-Task-Learning basiert und dazu dient, die beiden Teilaufgaben gemeinsam zu lernen sowie ihre Korrelation zu modellieren. Konkret nutzen wir Contrastive Learning, um sowohl die Informationsdichte der Spannengrenzen als auch die semantischen Repräsentationen der Typen in beiden Teilaufgaben zu verbessern. Anschließend wird ein hierarchischer prototypischer Netzwerkansatz entworfen, der die grobkörnigen Informationen von Entitäten im Stadium der Typklassifikation nutzt, um dem Modell zu ermöglichen, feinkörnigere semantische Repräsentationen besser zu erlernen. In diesem Zusammenhang konstruieren wir eine Similaritäts-Margin-Verlustfunktion, um die Ähnlichkeit zwischen feinkörnigen Entitäten und anderen irrelevanten, grobkörnigen Prototypen zu reduzieren. Umfassende Experimente auf dem Few-NERD-Datensatz belegen, dass unsere Lösung gegenüber konkurrierenden Baseline-Methoden übertrifft. Der Quellcode von HEProto ist unter https://github.com/fanshu6hao/HEProto verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp