Zu Named Entity Recognition mit BERT als Lingua Franca

Die Informationsextraktion ist eine wichtige Aufgabe im Bereich der natürlichsprachlichen Verarbeitung (NLP), die es ermöglicht, Daten automatisch für das Füllen relationaler Datenbanken zu extrahieren. Historisch gesehen wurde Forschung und Daten zunächst für englischen Text produziert, gefolgt in den darauffolgenden Jahren von Datensätzen in Arabisch, Chinesisch (ACE/OntoNotes), Niederländisch, Spanisch, Deutsch (CoNLL-Evaluierungen) und vielen anderen Sprachen. Die natürliche Tendenz war es, jede Sprache als einen eigenen Datensatz zu behandeln und optimierte Modelle für jede Sprache zu entwickeln. In dieser Arbeit untersuchen wir ein einzelnes Modell zur Namenerkennung (Named Entity Recognition), das auf einem mehrsprachigen BERT basiert und gleichzeitig auf vielen Sprachen trainiert wird. Dieses Modell kann diese Sprachen mit einer besseren Genauigkeit dekodieren als Modelle, die nur auf einer einzigen Sprache trainiert wurden. Um das anfängliche Modell zu verbessern, studieren wir Regularisierungsstrategien wie Multitask-Lernen und partielle Gradientenaktualisierungen. Neben der Fähigkeit, als ein einzelnes Modell mehrere Sprachen (einschließlich Codeswitching) zu bearbeiten, könnte dieses Modell auch ohne weitere Anpassung zero-shot-Vorhersagen für eine neue Sprache treffen, selbst wenn keine Trainingsdaten verfügbar sind. Die Ergebnisse zeigen nicht nur, dass dieses Modell wettbewerbsfähig mit mono-sprachlichen Modellen ist, sondern dass es auch den aktuellen Stand der Technik auf den CoNLL02-Datensätzen für Niederländisch und Spanisch sowie den OntoNotes-Datensätzen für Arabisch und Chinesisch erreicht. Darüber hinaus erzielt es bei unbekannten Sprachen durchschnittlich gute Ergebnisse und stellt den aktuellen Stand der Technik bei zero-shot-Aufgaben für drei CoNLL-Sprachen dar.