Große Vor-Trainierte Modelle mit Extra-Großen Vokabularen: Eine Kontrastive Analyse von Hebräischen BERT-Modellen und einem Neuen, das Sie Alle Übertrifft

Wir präsentieren ein neues vortrainiertes Sprachmodell (VSM) für modernes Hebräisch, das AlephBERTGimmel genannt wird und ein erheblich größeres Wörterbuch (128.000 Einträge) als die bisherigen Standard-VSMs für Hebräisch verwendet. Wir führen eine kontrastive Analyse dieses Modells mit allen vorherigen hebräischen VSMs (mBERT, heBERT, AlephBERT) durch und bewerten die Auswirkungen größerer Wörterbücher auf die Aufgabenleistung. Unsere Experimente zeigen, dass größere Wörterbücher zu weniger Aufteilungen führen und dass die Reduzierung von Aufteilungen die Leistung des Modells bei verschiedenen Aufgaben verbessert. Insgesamt erreicht dieses neue Modell neue State-of-the-Art-Werte auf allen verfügbaren hebräischen Benchmarks, einschließlich morphologischer Segmentierung, Part-of-Speech-Tagging, vollständiger morphologischer Analyse, Named Entity Recognition (NER) und Sentimentanalyse. Anschließend plädieren wir für VSMs, die nicht nur in Bezug auf die Anzahl der Schichten oder das Trainingsdatenmaterial, sondern auch in Bezug auf ihr Wörterbuch größer sind. Wir veröffentlichen das neue Modell öffentlich zur unbegrenzten Nutzung.