Vorhersage und Steigerung der Fairness von DNNs mittels Krümmung perceptueller Mannigfaltigkeiten

Um den Herausforderungen der langen Schwanz-Klassifikation zu begegnen, haben Forscher mehrere Ansätze vorgeschlagen, um die Modellverzerrung zu reduzieren, wobei die meisten Annahmen darauf basieren, dass Klassen mit wenigen Beispielen schwache Klassen sind. In jüngsten Studien wurde jedoch gezeigt, dass Tail-Klassen nicht zwangsläufig schwer zu lernen sind, und Modellverzerrung wurde auch auf datenbalancierten Datensätzen beobachtet, was auf die Existenz weiterer Faktoren hinweist, die die Modellverzerrung beeinflussen. In dieser Arbeit stellen wir zunächst einen geometrischen Ansatz zur Analyse der Modellfairness vor und leiten systematisch eine Reihe geometrischer Maße für die Wahrnehmungs-Mannigfaltigkeiten in tiefen neuronalen Netzen ab. Anschließend untersuchen wir umfassend, wie die geometrischen Eigenschaften der Wahrnehmungs-Mannigfaltigkeiten die Klassifikationskomplexität beeinflussen und wie das Lernen die geometrischen Merkmale dieser Mannigfaltigkeiten gestaltet. Eine unerwartete Erkenntnis ist, dass die Korrelation zwischen der Klassen-Genauigkeit und der Trennbarkeit der Wahrnehmungs-Mannigfaltigkeiten während des Trainings allmählich abnimmt, während die negative Korrelation mit der Krümmung zunimmt, was darauf hindeutet, dass eine ungleichmäßige Krümmung zur Modellverzerrung führt. Aufbauend auf diesen Beobachtungen schlagen wir eine Krümmungs-Regularisierung vor, um das Modell zu unterstützen, krümmungsbalancierte und flachere Wahrnehmungs-Mannigfaltigkeiten zu lernen. Evaluierungen auf mehreren langen Schwanz- und nicht-lang-Schwanz-Datensätzen zeigen die hervorragende Leistungsfähigkeit und die bemerkenswerte Allgemeingültigkeit unseres Ansatzes, insbesondere die signifikanten Leistungsverbesserungen im Vergleich zu aktuellen state-of-the-art-Techniken. Unsere Arbeit eröffnet einen neuen geometrischen Analyseansatz für Modellverzerrung und erinnert Forscher daran, auch auf nicht-lang-Schwanz-Datensätzen und sogar auf datenbalancierten Datensätzen auf Modellverzerrung zu achten.