BARThez: ein fähiges vortrainiertes französisches Sequenz-zu-Sequenz-Modell

Induktives Transfer-Lernen hat die gesamte NLP-Community erfasst, wobei Modelle wie BERT und BART neue Sollwerte für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprachverstehens (NLU) gesetzt haben. Die meisten verfügbaren Modelle und Forschungsarbeiten konzentrieren sich jedoch auf die englische Sprache. In dieser Arbeit stellen wir BARThez vor, das erste großskalige vortrainierte Seq2Seq-Modell für die französische Sprache. Aufgrund seiner Basis auf BART ist BARThez besonders gut für generative Aufgaben geeignet. Wir evaluieren BARThez anhand von fünf diskriminativen Aufgaben aus der FLUE-Benchmark und zwei generativen Aufgaben aus einem neu erstellten Zusammenfassungsdatensatz namens OrangeSum, der speziell für diese Studie entwickelt wurde. Wir zeigen, dass BARThez mit den derzeit besten BERT-basierten französischen Sprachmodellen wie CamemBERT und FlauBERT konkurrieren kann. Zudem führen wir die Weitertrainierung eines mehrsprachigen BART-Modells auf dem Korpus von BARThez durch und zeigen, dass das resultierende Modell mBARThez die generativen Leistungen von BARThez erheblich verbessert. Code, Daten und Modelle sind öffentlich zugänglich.