Classification d'images supervisée par le web avec confiance auto-contenue

Ce papier se concentre sur l'apprentissage supervisé par web (WSL), dans lequel les jeux de données sont constitués en récupérant des échantillons à partir d'Internet et en utilisant directement les requêtes de recherche comme étiquettes web. Bien que le WSL profite d'une collecte de données rapide et peu coûteuse, les bruits présents dans les étiquettes web entravent une meilleure performance du modèle de classification d'images. Pour atténuer ce problème, les travaux récents ont introduit une perte auto-étiquetée supervisée $\mathcal{L}_s$ en complément de la perte supervisée par web $\mathcal{L}_w$. La perte $\mathcal{L}_s$ repose sur des pseudo-étiquettes prédites par le modèle lui-même. Étant donné que la validité de l'étiquette web ou de la pseudo-étiquette est généralement évaluée au cas par cas pour chaque échantillon web, il est souhaitable d'ajuster dynamiquement l'équilibre entre $\mathcal{L}_s$ et $\mathcal{L}_w$ au niveau de chaque échantillon. Inspirés par la capacité des réseaux de neurones profonds (DNN) à estimer la confiance, nous introduisons une nouvelle mesure appelée Confiance Auto-Contenue (SCC), en adaptant la notion d'incertitude du modèle au cadre du WSL, et nous l'utilisons pour équilibrer de manière échantillon-par-échantillon les pertes $\mathcal{L}_s$ et $\mathcal{L}_w$. Ainsi, un cadre WSL simple mais efficace est proposé. Une série d'approches de régularisation compatibles avec SCC est étudiée, parmi lesquelles la méthode proposée, le mixup amélioré par graphe, s'avère être la plus efficace pour fournir une estimation de confiance de haute qualité, renforçant ainsi notre cadre. Le cadre WSL proposé atteint des résultats de pointe sur deux grands jeux de données WSL, WebVision-1000 et Food101-N. Le code est disponible à l'adresse suivante : https://github.com/bigvideoresearch/SCC.