Universelle Ausweichangriffe auf die Zusammenfassungsbewertung

Die automatische Bewertung von Zusammenfassungen ist von großer Bedeutung, da sie die Entwicklung von Zusammenfassungsverfahren leitet. Gleichzeitig ist die Bewertung komplex, da sie mehrere Aspekte wie Flüssigkeit, Grammatik sowie auch textuelle Implikationen gegenüber dem Quelltext umfasst. Bislang wurde die Bewertung von Zusammenfassungen jedoch nicht als maschinelles Lernproblem betrachtet, um deren Genauigkeit und Robustheit systematisch zu untersuchen. In dieser Studie positionieren wir die automatische Bewertung im Kontext von Regressionsaufgaben im maschinellen Lernen und führen Evasion-Angriffe durch, um die Robustheit zu untersuchen. Die Angriffssysteme generieren aus jeder Eingabe eine Zeichenkette, die keine Zusammenfassung darstellt, und diese Nicht-Zusammenfassungen erzielen auf den gängigsten Metriken – ROUGE, METEOR und BERTScore – konkurrenzfähige Scores, die mit denen hochwertiger Zusammenfassungsverfahren vergleichbar sind. Die Angriffssysteme „übertreffen“ zudem die derzeit besten summarisierenden Ansätze hinsichtlich ROUGE-1 und ROUGE-L und erreichen den zweitbesten Score bei METEOR. Darüber hinaus wird ein BERTScore-Backdoor beobachtet: Ein einfacher Trigger kann höhere Scores erzielen als jedes automatische Zusammenfassungsverfahren. Die durchgeführten Evasion-Angriffe zeigen, dass die aktuellen Bewertungssysteme auf Systemebene eine geringe Robustheit aufweisen. Wir hoffen, dass unsere Darstellung dieser Angriffe die Entwicklung robusterer Zusammenfassungsbewertungssysteme fördern wird.