Sur les valeurs propres du regroupement de covariance globale pour la reconnaissance visuelle fine-grained

La catégorisation visuelle fine (Fine-Grained Visual Categorization, FGVC) est un défi en raison des variations subtiles entre classes, qui sont difficiles à capturer. Une ligne de recherche notable utilise la couche de pooling par covariance globale (Global Covariance Pooling, GCP) pour apprendre des représentations puissantes basées sur des statistiques d’ordre deux, capables de modéliser efficacement les différences entre classes. Dans notre article précédent présenté en conférence, nous avons montré que tronquer les petites valeurs propres de la matrice de covariance GCP permet d’obtenir un gradient plus lisse et d’améliorer les performances sur des benchmarks à grande échelle. Toutefois, sur des jeux de données fine-grained, cette opération de troncature entraîne une absence de convergence du modèle. Cette observation contredit l’hypothèse courante selon laquelle les petites valeurs propres correspondent simplement à des informations bruitées et sans importance, et devraient donc avoir peu d’impact sur les performances. Pour diagnostiquer ce comportement particulier, nous proposons deux méthodes d’attribution dont les visualisations révèlent que ces petites valeurs propres, apparemment négligeables, jouent un rôle crucial : elles sont responsables de l’extraction des caractéristiques discriminantes spécifiques à chaque classe. Inspirés par cette découverte, nous proposons une branche de réseau dédiée à amplifier l’importance des petites valeurs propres. Sans introduire de paramètres supplémentaires, cette branche amplifie simplement les petites valeurs propres et permet d’atteindre des performances de pointe parmi les méthodes basées sur GCP sur trois benchmarks fine-grained. En outre, les résultats restent compétitifs par rapport à d’autres approches FGVC sur des jeux de données plus volumineux. Le code est disponible à l’adresse suivante : \href{https://github.com/KingJamesSong/DifferentiableSVD}{https://github.com/KingJamesSong/DifferentiableSVD}.