HyperAIHyperAI

Command Palette

Search for a command to run...

Ein mehraufgabenbasiertes semantisches Zerlegungsframework mit aufgabeenspezifischer Vortrainierung für Few-Shot NER

Zusammenfassung

Das Ziel der Few-Shot-Namensentitätserkennung (Few-Shot NER) besteht darin, Namensentitäten mit nur begrenzten gelabelten Beispielen zu identifizieren. Bisherige Arbeiten haben sich hauptsächlich auf die Optimierung des klassischen tokenweisen Klassifizierungsrahmens konzentriert und die Exploration von Informationen auf Basis der charakteristischen Merkmale von NER-Daten vernachlässigt. Um dieses Problem anzugehen, schlagen wir einen Multi-Task-Semantik-Entkoppelungs-Framework durch gemeinsame, aufgabe-spezifische Vortrainierung (MSDP) für Few-Shot NER vor. Inspiriert von Demonstration-basiertem und kontrastivem Lernen führen wir zwei neue Vortrainierungsaufgaben ein: Demonstration-basiertes Masked Language Modeling (MLM) und Klassen-kontrastive Diskriminierung. Diese Aufgaben integrieren effektiv Informationen über Entitätsgrenzen und stärken die Entitätsdarstellung in Pre-trained Language Models (PLMs). Im nachfolgenden Haupttask implementieren wir einen mehrstufigen gemeinsamen Optimierungsrahmen mit der semantischen Entkoppelungsmethode, der es dem Modell ermöglicht, zwei unterschiedliche semantische Informationen zur Entitätsklassifikation zu integrieren. Experimentelle Ergebnisse an zwei Few-Shot NER-Benchmarks zeigen, dass MSDP starke Baselines konsistent mit einem erheblichen Abstand übertrifft. Umfassende Analysen bestätigen die Wirksamkeit und Generalisierbarkeit von MSDP.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp