Prédiction et amélioration de la justesse des DNNs à l’aide de la courbure des variétés perceptuelles

Pour relever les défis posés par la classification à queue longue, les chercheurs ont proposé plusieurs approches visant à réduire le biais du modèle, la plupart supposant que les classes peu représentées sont des classes faibles. Toutefois, des études récentes ont montré que les classes en queue ne sont pas toujours difficiles à apprendre, et que le biais du modèle peut apparaître même sur des jeux de données équilibrés en nombre d’échantillons, suggérant l’existence d’autres facteurs influençant le biais du modèle. Dans ce travail, nous établissons d’abord une perspective géométrique pour analyser l’équité du modèle, puis proposons systématiquement une série de mesures géométriques dédiées aux variétés perceptuelles dans les réseaux neuronaux profonds. Ensuite, nous explorons de manière exhaustive l’impact des caractéristiques géométriques de ces variétés perceptuelles sur la difficulté de classification, ainsi que la manière dont l’apprentissage façonne ces caractéristiques géométriques. Une découverte inattendue révèle que la corrélation entre la précision de classe et le degré de séparation des variétés perceptuelles diminue progressivement au cours de l’entraînement, tandis que la corrélation négative avec la courbure augmente progressivement, impliquant que le déséquilibre de courbure est une source fondamentale du biais du modèle. À partir de ces observations, nous proposons une régularisation basée sur la courbure afin d’aider le modèle à apprendre des variétés perceptuelles plus plates et mieux équilibrées en courbure. Des évaluations menées sur plusieurs jeux de données à queue longue et non à queue longue démontrent les performances exceptionnelles et la grande généralité de notre approche, notamment en permettant des améliorations significatives par rapport aux techniques les plus avancées actuelles. Ce travail ouvre une nouvelle perspective d’analyse géométrique du biais du modèle et invite les chercheurs à porter une attention accrue au biais du modèle même sur des jeux de données non à queue longue, voire équilibrés en échantillons.