Last Translation Benchmark ist ein von Vilém Zouhar et al. im Jahr 2026 veröffentlichter Benchmark-Datensatz zur Bewertung von Maschinenübersetzungsmodellen. Die zugehörige wissenschaftliche Arbeit ist unter „Last Translation Benchmark“ verfügbar. Ziel ist es, die Fähigkeiten aktueller Maschinenübersetzungsmodelle bei komplexen Übersetzungsaufgaben zu testen und spezifische Fehler in realistischen Szenarien aufzudecken.

Der Datensatz umfasst 3.456 anspruchsvolle Übersetzungsbeispiele und deckt eine Vielzahl von Sprachen und Sprachkombinationen ab. Die Daten stammen aus manuell erstellten und begutachteten Übersetzungsbeispielen. Die Beispiele enthalten multimodale Eingaben wie Text, Bild, Audio und Video und bieten für jedes Beispiel manuell erstellte Verifikationsregeln.

Zusammensetzung des Datensatzes

• source_text: Quelltext;
• source_lang: Quellensprache;
• target_lang: Zielsprache;
• source_instructions: Besondere Anforderungen für die Übersetzungsaufgabe;
• source_media: Optionale Bild-, Audio- oder Videodaten;
• translations: Übersetzungsergebnisse, die von verschiedenen Modellen oder Menschen erzeugt wurden;
• verification_rules: Verifikationsregeln zur Beurteilung der Korrektheit der Übersetzung;
• linguistics: Linguistische Annotationen, die die Übersetzungsschwierigkeiten beschreiben;
• attribution: Informationen zur Datenquelle;
• tags: Angabe, zu welchem Daten-Subset die Daten gehören.

Citation

@misc{zouhar2026translationbenchmark,
  title={Last Translation Benchmark},
  author={LTB},
  year={2026},
  eprint={2609.04173},
  archivePrefix={arXiv},
  url={https://arxiv.org/abs/2609.04173}
}