Apprentissage bout-en-bout d'une encodage Fisher Vector pour les caractéristiques de parties en reconnaissance fine-grainée

Les approches basées sur les parties pour la reconnaissance fine-grainée ne montrent pas de gain de performance attendu par rapport aux méthodes globales, malgré une focalisation explicite sur de petits détails pertinents pour distinguer des classes très similaires. Nous supposons que les méthodes basées sur les parties souffrent d’un manque de représentation des caractéristiques locales, qui soit invariante à l’ordre des parties et capable de gérer de manière appropriée un nombre variable de parties visibles. L’ordre des parties est artificiel et est souvent fourni uniquement par des annotations de référence, tandis que les variations de point de vue et les occlusions entraînent l’absence de certaines parties. Par conséquent, nous proposons d’intégrer une encodage par vecteur de Fisher des caractéristiques de parties dans des réseaux de neurones convolutionnels. Les paramètres de cet encodage sont estimés par un algorithme EM en ligne, conjointement avec ceux du réseau neuronal, et offrent une précision supérieure aux estimations des travaux antérieurs. Notre approche améliore les performances actuelles de l’état de l’art sur trois jeux de données de classification d’espèces d’oiseaux.