Ein mehraufgabenbasiertes semantisches Zerlegungsframework mit aufgabeenspezifischer Vortrainierung für Few-Shot NER

Das Ziel der Few-Shot-Namensentitätserkennung (Few-Shot NER) besteht darin, Namensentitäten mit nur begrenzten gelabelten Beispielen zu identifizieren. Bisherige Arbeiten haben sich hauptsächlich auf die Optimierung des klassischen tokenweisen Klassifizierungsrahmens konzentriert und die Exploration von Informationen auf Basis der charakteristischen Merkmale von NER-Daten vernachlässigt. Um dieses Problem anzugehen, schlagen wir einen Multi-Task-Semantik-Entkoppelungs-Framework durch gemeinsame, aufgabe-spezifische Vortrainierung (MSDP) für Few-Shot NER vor. Inspiriert von Demonstration-basiertem und kontrastivem Lernen führen wir zwei neue Vortrainierungsaufgaben ein: Demonstration-basiertes Masked Language Modeling (MLM) und Klassen-kontrastive Diskriminierung. Diese Aufgaben integrieren effektiv Informationen über Entitätsgrenzen und stärken die Entitätsdarstellung in Pre-trained Language Models (PLMs). Im nachfolgenden Haupttask implementieren wir einen mehrstufigen gemeinsamen Optimierungsrahmen mit der semantischen Entkoppelungsmethode, der es dem Modell ermöglicht, zwei unterschiedliche semantische Informationen zur Entitätsklassifikation zu integrieren. Experimentelle Ergebnisse an zwei Few-Shot NER-Benchmarks zeigen, dass MSDP starke Baselines konsistent mit einem erheblichen Abstand übertrifft. Umfassende Analysen bestätigen die Wirksamkeit und Generalisierbarkeit von MSDP.