Les Convnets apprennent-ils la correspondance ?

Les réseaux de neurones convolutionnels (convnets) formés à partir de grands ensembles de données étiquetées ont considérablement amélioré l'état de l'art dans la classification d'images et la détection d'objets. Cependant, la compréhension visuelle nécessite d'établir des correspondances à un niveau plus fin que la catégorie d'objet. Étant donné leurs grandes régions de pooling et leur formation à partir d'étiquettes d'images entières, il n'est pas clair que les convnets tirent leur succès d'un modèle de correspondance précis qui pourrait être utilisé pour une localisation précise. Dans cet article, nous étudions l'efficacité des caractéristiques d'activation des convnets pour les tâches nécessitant des correspondances. Nous présentons des preuves que les caractéristiques des convnets localisent à une échelle beaucoup plus fine que leurs tailles de champs récepteurs, qu'elles peuvent être utilisées pour effectuer un alignement intraclassique aussi bien que les caractéristiques conçues manuellement, et qu'elles surpassent ces dernières dans la prédiction de points clés sur des objets du PASCAL VOC 2011.