GenTranslate: Große Sprachmodelle sind generative mehrsprachige Sprach- und Maschinenübersetzer

Neuere Fortschritte bei großen Sprachmodellen (Large Language Models, LLMs) haben die Entwicklung multilingualer Sprach- und Maschinenübersetzung vorangetrieben, indem sie die Darstellungsfehler reduzierten und externe Wissensinhalte integrierten. Allerdings verwenden beide Übersetzungsanwendungen typischerweise die Beam-Search-Entschlüsselung und die Auswahl des besten einzelnen Hypothesen (Top-1) zur Inferenz. Diese Techniken sind nicht in der Lage, die reiche Information in den vielfältigen N-best-Hypothesen vollständig auszunutzen, was sie für Übersetzungsanwendungen, die eine einzelne hochwertige Ausgabefolge erfordern, weniger optimal macht. In diesem Paper stellen wir ein neues generatives Paradigma für Übersetzungsanwendungen vor, namens „GenTranslate“, das auf LLMs aufbaut und bessere Ergebnisse aus den unterschiedlichen Übersetzungsvarianten in der N-best-Liste generiert. Durch Ausnutzung des reichen sprachlichen Wissens und der starken Schlussfolgerungsfähigkeiten von LLMs kann unser neues Paradigma die reichhaltige Information in den N-best-Kandidaten integrieren, um eine qualitativ hochwertigere Übersetzung zu erzeugen. Darüber hinaus haben wir zur Unterstützung der Feinabstimmung von LLMs die HypoTranslate-Datenbank erstellt und veröffentlicht, die über 592.000 Hypothesen-Übersetzungs-Paare in 11 Sprachen enthält. Experimente an verschiedenen Benchmarks für Sprach- und Maschinenübersetzung (z. B. FLEURS, CoVoST-2, WMT) zeigen, dass unser GenTranslate die state-of-the-art-Modelle erheblich übertrifft.