Das Training von unverzerrten Teilnetzen durch kontrastives Gewichtstrimming

Neuronale Netze sind oft voreingenommen gegenüber spurios korrelierten Merkmalen, die irreführende statistische Beweise liefern, die sich nicht verallgemeinern lassen. Dies wirft eine interessante Frage auf: „Existiert in einem stark voreingenommenen Netzwerk ein optimaler, voreingenommenkeitsfreier funktioneller Teilnetzwerks? Wenn ja, wie kann man solche Teilnetzwerke extrahieren?“ Während empirische Beweise über die Existenz solcher voreingenommenkeitsfreien Teilnetzwerke gesammelt wurden, basieren diese Beobachtungen hauptsächlich auf der Anleitung durch ground-truth voreingenommenkeitsfreie Stichproben. Daher ist es bisher unerforscht, wie man in der Praxis optimale Teilnetzwerke mit voreingenommenen Trainingsdatensätzen entdecken kann. Um dies zu beheben, präsentieren wir hier zunächst unsere theoretischen Erkenntnisse, die potenzielle Einschränkungen bestehender Algorithmen bei der Exploration von voreingenommenkeitsfreien Teilnetzwerken in Anwesenheit starker spurioser Korrelationen aufzeigen. Wir beleuchten dann weiterhin die Bedeutung von bias-conflicting Stichproben für das Strukturlernen. Angeregt durch diese Beobachtungen schlagen wir den Debiased Contrastive Weight Pruning (DCWP) Algorithmus vor, der voreingenommenkeitsfreie Teilnetzwerke ohne teure Gruppenannotierungen untersucht. Experimentelle Ergebnisse zeigen, dass unser Ansatz trotz einer erheblichen Reduktion der Parameterzahl deutlich besser abschneidet als der Stand der Technik in Debiasing-Methoden.