Glyce: Glyph-Vektoren für die Darstellung chinesischer Zeichen

Es ist intuitiv, dass die NLP-Aufgaben für logographische Sprachen wie Chinesisch von der Verwendung der Schriftzeicheninformationen dieser Sprachen profitieren sollten. Allerdings bleibt aufgrund des Mangels an reichhaltigen bildlichen Beweisen in den Schriftzeichen und der schwachen Generalisierungsfähigkeit standardisierter Computer-Vision-Modelle bei Zeichen-Daten ein effektiver Weg zur Nutzung dieser Informationen noch zu finden. In dieser Arbeit schließen wir diese Lücke durch die Vorstellung von Glyce, den Schriftzeichenvektoren für chinesische Zeichenrepräsentationen. Wir führen drei wesentliche Innovationen ein: (1) Wir nutzen historische chinesische Schriften (z.B. Bronzeschrift, Siegelschrift, traditionelles Chinesisch usw.) zur Bereicherung der bildlichen Beweise in den Zeichen; (2) Wir entwickeln CNN-Strukturen (sogenannte tianzege-CNN), die speziell für die Bildverarbeitung chinesischer Zeichen angepasst sind; und (3) Wir verwenden die Bildklassifizierung als Nebenaufgabe in einem Multi-Task-Lernen-Szenario, um die Generalisierungsfähigkeit des Modells zu erhöhen. Wir zeigen, dass schriftzeichenbasierte Modelle in einer Vielzahl von chinesischen NLP-Aufgaben konsistent bessere Ergebnisse erzielen als wort-/zeichen-ID-basierte Modelle. Wir können neue Standarte erreichen für eine Reihe von chinesischen NLP-Aufgaben, darunter Tagging (NER, CWS, POS), Klassifikation von Satzpaaren, Klassifikation einzelner Sätze, Abhängigkeitsanalyse und semantische Rollenzuweisung. Zum Beispiel erreicht das vorgeschlagene Modell einen F1-Wert von 80,6 auf dem OntoNotes-Datensatz für NER, was 1,5 Punkte über BERT liegt; es erreicht eine fast perfekte Genauigkeit von 99,8 % auf dem Fudan-Korpus für Textklassifizierung. Der Quellcode ist unter https://github.com/ShannonAI/glyce zu finden.