MINER: Verbesserung der Named Entity Recognition für Out-of-Vocabulary-Wörter aus einer informationstheoretischen Perspektive

Das NER-Modell hat auf Standard-NER-Benchmarks vielversprechende Leistung erzielt. Allerdings zeigen jüngere Studien, dass herkömmliche Ansätze möglicherweise zu stark auf die Information zu Entitätsmentionen angewiesen sind, was zu einer schlechten Leistung bei der Erkennung von Out-of-Vocabulary (OOV)-Entitäten führt. In dieser Arbeit stellen wir MINER, einen neuartigen NER-Lernframework, vor, um dieses Problem aus einer informations-theoretischen Perspektive zu beheben. Der vorgeschlagene Ansatz beinhaltet zwei auf der Mutual-Information basierende Trainingsziele: i) Verallgemeinerung der Informationsmaximierung, die die Repräsentation durch ein tiefes Verständnis des Kontexts und der Oberflächenformen von Entitäten verbessert; ii) Minimierung überflüssiger Information, die verhindert, dass die Repräsentation Entitätsnamen mechanisch auswendig lernt oder verzerrte Hinweise in den Daten ausnutzt. Experimente unter verschiedenen Einstellungen und auf mehreren Datensätzen zeigen, dass das Verfahren eine bessere Leistung bei der Vorhersage von OOV-Entitäten erzielt.