ACES : Jeux de données de défis pour la précision de la traduction machine afin d’évaluer les métriques de traduction automatique

Alors que les métriques de traduction automatique (MT) améliorent chaque année leur corrélation avec l’évaluation humaine, il est essentiel de comprendre leurs limites au niveau des segments. En particulier, il est crucial d’étudier le comportement des métriques face aux erreurs d’exactitude en traduction automatique, car celles-ci peuvent entraîner des conséquences graves dans certains contextes (par exemple, juridiques ou médicaux). Nous présentons ACES, un ensemble de défis pour l’évaluation de l’exactitude en traduction, comprenant 68 phénomènes allant de perturbations simples au niveau mot ou caractère à des erreurs plus complexes fondées sur le discours et les connaissances du monde réel. Nous utilisons ACES pour évaluer un large éventail de métriques de MT, y compris les contributions au partage de tâche sur les métriques WMT 2022, et menons plusieurs analyses qui conduisent à des recommandations générales pour les développeurs de métriques. Nous recommandons : a) combiner des métriques aux forces complémentaires, b) développer des métriques accordant une plus grande importance au texte source et une moindre importance à la similarité superficielle avec la référence, et c) modéliser explicitement des informations spécifiques à la langue au-delà de celles accessibles par les embeddings multilingues.