PCNN : Explications par plus proches voisins de la classe probable améliorent la précision de la classification d’images fine pour les IA et les humains

Les voisins les plus proches (NN) sont traditionnellement utilisés pour calculer les décisions finales, par exemple dans les machines à vecteurs de support ou les classificateurs k-NN, ainsi que pour fournir aux utilisateurs des explications sur les décisions du modèle. Dans cet article, nous proposons une nouvelle utilité des voisins les plus proches : améliorer les prédictions d’un classificateur d’images préentraîné et figé C. Nous exploitons un comparateur d’images S qui (1) compare l’image d’entrée aux images voisines issues des K classes les plus probables identifiées par C ; et (2) utilise les scores fournis par S pour pondérer les scores de confiance de C, afin de raffiner les prédictions. Notre méthode améliore de manière cohérente la précision de la classification fine d’images sur les jeux de données CUB-200, Cars-196 et Dogs-120. Par ailleurs, une étude menée auprès d’utilisateurs humains montre que la présentation des voisins les plus proches parmi les classes probables (PCNN) réduit la dépendance excessive envers l’IA, conduisant ainsi à une meilleure précision des décisions humaines par rapport aux approches antérieures qui ne montraient que des exemples de la classe la plus probable (top-1).