Aysenur Kocak Shuo Yang Bardh Prenkaj Gjergji Kasneci

Abstract

Vortrainierte Sprachmodelle haben in einer Vielzahl von Anwendungen beachtliche Erfolge erzielt, bleiben jedoch anfällig für irreführende, konzeptbasierte Korrelationen, die Robustheit und Fairness beeinträchtigen. In dieser Arbeit stellen wir CURE vor – einen neuartigen und leichtgewichtigen Rahmen, der konzeptionelle Kurzschlüsse systematisch entkoppelt und unterdrückt, während essenzielle Inhaltinformationen erhalten bleiben. Unser Ansatz extrahiert zunächst konzeptunabhängige Darstellungen mittels eines spezialisierten Inhaltsextraktors, der durch ein Umkehrnetzwerk verstärkt wird, um einen minimalen Verlust an aufgabebezogener Information sicherzustellen. Ein anschließender, steuerbarer Entbiasing-Modul nutzt kontrastives Lernen, um die Wirkung verbleibender konzeptioneller Hinweise präzise zu regulieren, sodass das Modell entweder schädliche Vorurteile reduzieren oder nützliche Korrelationen gezielt nutzen kann, je nach Anforderungen der Zielaufgabe. Auf den Datensätzen IMDB und Yelp evaluiert, erreicht CURE eine absolute Verbesserung um +10 Punkte im F1-Score auf IMDB und +2 Punkte auf Yelp, wobei nur ein minimaler zusätzlicher Rechenaufwand entsteht. Unser Ansatz legt eine flexible, unsupervisierte Grundlage für die Bekämpfung konzeptioneller Vorurteile dar und ebnet den Weg für zuverlässigere und fairere Systeme zur Sprachverstehens.