Reconnaissance à queue longue par équilibrage des poids

Dans le monde réel ouvert, les données ont tendance à suivre des distributions de classes à queue longue, ce qui motive le problème bien étudié de la reconnaissance à queue longue (LTR, Long-Tailed Recognition). Une entraînement naïf conduit à des modèles biaisés en faveur des classes fréquentes, qui atteignent une précision plus élevée. La clé pour résoudre le LTR réside dans l’équilibre entre plusieurs aspects, notamment la distribution des données, les fonctions de perte d’entraînement et les gradients durant l’apprentissage. Nous explorons une direction orthogonale, l’équilibrage des poids, motivée par l’observation empirique selon laquelle le classifieur entraîné de manière naïve possède des poids de norme « artificiellement » plus élevée pour les classes fréquentes (en raison de la grande quantité de données disponibles pour leur apprentissage, contrairement aux classes rares). Nous étudions trois techniques pour équilibrer les poids : la normalisation L2, le weight decay et la contrainte MaxNorm. Nous montrons tout d’abord que la normalisation L2 équilibre « parfaitement » les poids par classe à une norme unité, mais cette contrainte rigide peut entraver l’apprentissage de classifieurs optimaux pour chaque classe. En revanche, le weight decay pénalise plus sévèrement les poids élevés, favorisant ainsi l’apprentissage de poids petits et équilibrés ; la contrainte MaxNorm encourage la croissance des petits poids à l’intérieur d’une boule de norme, tout en limitant strictement la norme de tous les poids par un rayon fixe. Notre étude approfondie démontre que ces deux dernières méthodes permettent effectivement d’apprendre des poids équilibrés et améliorent considérablement la précision du LTR. De manière surprenante, le weight decay, bien que peu exploré dans le cadre du LTR, permet d’obtenir des résultats significativement supérieurs à ceux des méthodes antérieures. Par conséquent, nous adoptons un paradigme d’entraînement en deux étapes et proposons une approche simple pour le LTR : (1) apprentissage des caractéristiques via la perte d’entropie croisée en ajustant le weight decay, puis (2) apprentissage du classifieur via une perte équilibrée par classe en ajustant à la fois le weight decay et la contrainte MaxNorm. Notre méthode atteint une précision de pointe sur cinq benchmarks standards, établissant ainsi une nouvelle référence pour les travaux futurs en reconnaissance à queue longue.