Le benchmark Last Translation est un ensemble de données de référence destiné à l'évaluation des modèles de traduction automatique, publié en 2026 par Vilém Zouhar et d'autres chercheurs. L'article associé est disponible sur Last Translation Benchmark. Il vise à tester les capacités des modèles de traduction automatique actuels sur des tâches de traduction complexes et à identifier leurs défaillances spécifiques dans des scénarios réels.

Cet ensemble de données contient 3 456 exemples de traduction de difficulté élevée, couvrant de nombreuses langues et combinaisons linguistiques. Les données proviennent d'exemples de traduction rédigés manuellement et soumis à une évaluation par les pairs. Les exemples incluent des entrées multimodales (texte, image, audio et vidéo) et sont accompagnés de règles de vérification définies manuellement pour chaque exemple.

Composition du jeu de données

• source_text : texte source ;
• source_lang : langue source ;
• target_lang : langue cible ;
• source_instructions : exigences spécifiques relatives à la tâche de traduction ;
• source_media : données optionnelles sous forme d'image, d'audio ou de vidéo ;
• translations : résultats de traduction générés par différents modèles ou par des traducteurs humains ;
• verification_rules : règles de vérification permettant de déterminer si la traduction est correcte ;
• linguistics : annotations linguistiques décrivant les difficultés de la traduction ;
• attribution : informations sur la provenance des données ;
• tags : sous-ensemble de données auquel appartient l'exemple.

Citation

@misc{zouhar2026translationbenchmark,
  title={Last Translation Benchmark},
  author={LTB},
  year={2026},
  eprint={2609.04173},
  archivePrefix={arXiv},
  url={https://arxiv.org/abs/2609.04173}
}