ELF : Un cadre de sortie précoce pour la classification à queue longue

Le monde naturel suit souvent une distribution de données à queue longue, dans laquelle un petit nombre de classes représente la majorité des exemples. Cette asymétrie entraîne une surapprentissage des classifieurs sur la classe majoritaire. Pour atténuer ce problème, les approches antérieures adoptent généralement des stratégies de rééquilibrage des classes, telles que le rééchantillonnage des données ou la réforme de la fonction de perte. Toutefois, en traitant tous les exemples d'une même classe de manière équivalente, ces méthodes négligent une notion cruciale : la difficulté des exemples, c’est-à-dire que, dans chaque classe, certains exemples sont plus faciles à classifier que d’autres. Pour intégrer cette notion de difficulté dans le processus d’apprentissage, nous proposons le cadre EarLy-exiting (ELF). Pendant l’entraînement, ELF apprend à sortir prématurément les exemples faciles grâce à des branches auxiliaires connectées à un réseau principal (backbone). Ce mécanisme offre deux avantages complémentaires : (1) le réseau neuronal se concentre progressivement sur les exemples difficiles, qui contribuent davantage à la perte globale du réseau ; et (2) il libère une capacité supplémentaire du modèle pour mieux distinguer les exemples complexes. Les résultats expérimentaux sur deux grands jeux de données, ImageNet LT et iNaturalist’18, montrent que ELF améliore la précision de l’état de l’art de plus de 3 %. En outre, cette amélioration s’accompagne d’une réduction pouvant atteindre 20 % des opérations flottantes (FLOPS) nécessaires à l’inférence. ELF est complémentaire aux travaux antérieurs et peut s’intégrer naturellement à diverses méthodes existantes afin de relever le défi des distributions à queue longue.