Apprentissage profond hétéroscédastique et déséquilibré avec régularisation adaptative

Les jeux de données à grande échelle du monde réel sont hétéroscédastiques et déséquilibrés : les étiquettes présentent des niveaux variables d’incertitude, et les distributions d’étiquettes suivent une loi à queue longue. L’hétéroscédasticité et le déséquilibre posent des défis aux algorithmes d’apprentissage profond, en raison de la difficulté à distinguer entre les exemples mal étiquetés, ambigus et rares. La prise en compte simultanée de l’hétéroscédasticité et du déséquilibre reste largement sous-explorée. Nous proposons une technique de régularisation dépendante des données pour les jeux de données hétéroscédastiques, qui applique une régularisation différente selon les régions de l’espace d’entrée. Inspirés par une dérivation théorique de l’intensité optimale de régularisation dans un cadre de classification non paramétrique unidimensionnel, notre approche adapte de manière dynamique la régularisation, en la renforçant davantage sur les points de données situés dans des régions à haute incertitude et faible densité. Nous évaluons notre méthode sur plusieurs tâches standards, y compris un jeu de données réel hétéroscédastique et déséquilibré, WebVision. Nos expériences confirment notre théorie et démontrent une amélioration significative par rapport à d’autres méthodes dans le cadre de l’apprentissage profond robuste au bruit.