BiaSwap: Entfernen von Datensatzverzerrungen durch biasangepasste Swapping-Augmentierung

Tiefe neuronale Netze treffen oft Entscheidungen auf der Grundlage von spuriosen Korrelationen, die im Datensatz inhärent sind, und scheitern dabei an der Verallgemeinerung bei einer unverzerrten Datenverteilung. Obwohl frühere Ansätze den Typ des Datensatzverzerrungs vorgeben, um das Lernen dieser Verzerrung durch das Netz zu verhindern, ist das Erkennen des Verzerrungstyps in realen Datensätzen oft sehr schwierig. In dieser Arbeit wird ein neuartiger, auf Verzerrungen angepasster, augmentationsbasierter Ansatz namens BiaSwap vorgeschlagen, mit dem verzerrungsfreie Darstellungen gelernt werden können, ohne eine Überwachung des Verzerrungstyps zu erfordern.Unter der Annahme, dass die Verzerrungen den leicht zu lernenden Attributen entsprechen, sortieren wir die Trainingsbilder nach dem Grad, in dem ein verzerrter Klassifikator diese als Abkürzung nutzen kann. Wir teilen sie dann in unüberwachter Weise in bias-führende (bias-guiding) und bias-gegenständige (bias-contrary) Stichproben ein. Anschließend integrieren wir das stilübertragende Modul des Bildübersetzungsmodells mit den Klassenaktivierungskarten des verzerrten Klassifikators. Dies ermöglicht es, hauptsächlich die durch den Klassifikator gelernten Biasattribute zu übertragen.Dadurch generiert BiaSwap bei gegebenem Paar aus bias-führenden und bias-gegenständigen Bildern ein bias-getauschtes Bild, das die Biasattribute aus den bias-gegenständigen Bildern enthält, während es die bias-unabhängigen Attribute in den bias-führenden Bildern beibehält. Bei solchen erweiterten Bildern zeigt BiaSwap seine Überlegenheit im Debiasing gegenüber den bestehenden Baselines sowohl bei synthetischen als auch bei realen Datensätzen.Selbst ohne sorgfältige Überwachung der Verzerrungen erreicht BiaSwap eine bemerkenswerte Leistung sowohl bei unverzerrten als auch bei bias-führenden Stichproben. Dies deutet auf eine verbesserte Generalisierungsfähigkeit des Modells hin.