CONTaiNER: Few-Shot Named Entity Recognition via Contrastive Learning

Die Named Entity Recognition (NER) im Few-Shot-Szenario ist entscheidend für die Entitätstags in ressourcenarmen Domänen. Bestehende Ansätze lernen lediglich klassenspezifische semantische Merkmale und Zwischendarstellungen aus Quelldomänen. Dies beeinträchtigt die Verallgemeinerungsfähigkeit auf unbekannte Ziel-Domänen und führt zu suboptimalen Leistungen. Um dieses Problem anzugehen, präsentieren wir CONTaiNER, eine neuartige Kontrastlernmethode, die die inter-token-Verteilungs-Distanz für Few-Shot NER optimiert. Anstatt klassenspezifische Attribute zu optimieren, optimiert CONTaiNER ein verallgemeinertes Ziel, das auf der Unterscheidung zwischen Token-Kategorien basiert, wobei die Embeddings gemäß einer Gauß-Verteilung modelliert werden. Dadurch wird das Überanpassungsproblem, das aus den Trainingsdomänen resultiert, effektiv gemildert. Unsere Experimente an mehreren traditionellen Test-Domänen (OntoNotes, CoNLL'03, WNUT'17, GUM) sowie an einer neuen, großskaligen Few-Shot NER-Datenbank (Few-NERD) zeigen, dass CONTaiNER im Durchschnitt die vorherigen Methoden um 3 bis 13 absolute F1-Punkte übertrifft und dabei auch in anspruchsvollen Szenarien, in denen frühere Ansätze keine nennenswerte Leistung erzielen konnten, eine konsistente Performanz aufweist.