HyperAIHyperAI

Command Palette

Search for a command to run...

Attaques d'évasion universelles sur les scores de résumé

Wenchuan Mu Kwan Hui Lim

Résumé

Le scoring automatique des résumés est crucial, car il guide le développement des systèmes de résumé. Ce processus est toutefois complexe, car il prend en compte plusieurs aspects tels que la fluidité, la grammaire, voire même l’entailment textuel par rapport au texte source. Toutefois, le scoring des résumés n’a pas été considéré comme une tâche d’apprentissage automatique afin d’étudier sa précision et sa robustesse. Dans cette étude, nous plaçons le scoring automatique dans le cadre de tâches d’apprentissage automatique par régression et menons des attaques d’évasion afin d’explorer sa robustesse. Les systèmes d’attaque prédise un texte non résumé à partir de chaque entrée, et ces chaînes non résumées obtiennent des scores compétitifs par rapport aux meilleurs systèmes de résumé sur les métriques les plus courantes : ROUGE, METEOR et BERTScore. Ces systèmes d’attaque « surpassent » également les méthodes d’état de l’art en matière de résumé sur ROUGE-1 et ROUGE-L, et obtiennent le deuxième meilleur score sur METEOR. Par ailleurs, une attaque par backdoor BERTScore est observée : un simple déclencheur permet d’obtenir un score supérieur à celui de toute méthode automatique de résumé. Les attaques d’évasion menées dans ce travail mettent en évidence une faible robustesse des systèmes de scoring actuels au niveau du système. Nous espérons que la mise en lumière de ces attaques proposées contribuera au développement de métriques de scoring de résumés plus fiables et résistantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp