Jiahao Chen Zhiyuan Huang Yurou Liu Bing Su

Résumé

L'apprentissage à longue queue a suscité un intérêt croissant en raison de sa large applicabilité dans des scénarios du monde réel. Parmi les approches existantes, l'apprentissage semi-supervisé à longue queue (LTSSL, Long-Tailed Semi-Supervised Learning) s'est imposé comme une solution efficace en intégrant une grande quantité de données non étiquetées dans un ensemble d'apprentissage étiqueté déséquilibré. Toutefois, la plupart des méthodes LTSSL antérieures sont conçues pour entraîner les modèles de zéro, ce qui conduit fréquemment à des problèmes tels que l'overconfidence (confiance excessive) et des pseudo-étiquettes de mauvaise qualité. Pour surmonter ces défis, nous étendons le cadre LTSSL au paradigme de finetuning des modèles fondamentaux et proposons un nouveau cadre : LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). Nous démontrons que les modèles fondamentaux finement ajustés peuvent générer des pseudo-étiquettes plus fiables, ce qui bénéficie directement à l'apprentissage déséquilibré. En outre, nous explorons un cadre plus réaliste en étudiant l'apprentissage semi-supervisé dans des conditions d'ouverture (open-world), où les données non étiquetées peuvent inclure des échantillons hors distribution (OOD, out-of-distribution). Pour traiter ce problème, nous proposons LoFT-OW (LoFT dans des scénarios d'ouverture) afin d'améliorer la capacité discriminative du modèle. Les résultats expérimentaux sur plusieurs benchmarks montrent que notre méthode atteint des performances supérieures par rapport aux approches antérieures, même lorsqu'elle utilise uniquement 1 % des données non étiquetées, comparé aux travaux antérieurs.