Attaques d'évasion universelles sur les scores de résumé

Le scoring automatique des résumés est crucial, car il guide le développement des systèmes de résumé. Ce processus est toutefois complexe, car il prend en compte plusieurs aspects tels que la fluidité, la grammaire, voire même l’entailment textuel par rapport au texte source. Toutefois, le scoring des résumés n’a pas été considéré comme une tâche d’apprentissage automatique afin d’étudier sa précision et sa robustesse. Dans cette étude, nous plaçons le scoring automatique dans le cadre de tâches d’apprentissage automatique par régression et menons des attaques d’évasion afin d’explorer sa robustesse. Les systèmes d’attaque prédise un texte non résumé à partir de chaque entrée, et ces chaînes non résumées obtiennent des scores compétitifs par rapport aux meilleurs systèmes de résumé sur les métriques les plus courantes : ROUGE, METEOR et BERTScore. Ces systèmes d’attaque « surpassent » également les méthodes d’état de l’art en matière de résumé sur ROUGE-1 et ROUGE-L, et obtiennent le deuxième meilleur score sur METEOR. Par ailleurs, une attaque par backdoor BERTScore est observée : un simple déclencheur permet d’obtenir un score supérieur à celui de toute méthode automatique de résumé. Les attaques d’évasion menées dans ce travail mettent en évidence une faible robustesse des systèmes de scoring actuels au niveau du système. Nous espérons que la mise en lumière de ces attaques proposées contribuera au développement de métriques de scoring de résumés plus fiables et résistantes.