Détection conjointe d'objets et de parties sémantiques basée sur l'attention

Dans cet article, nous abordons le problème de la détection conjointe d'objets tels que des chiens et de leurs parties sémantiques telles que le visage, les pattes, etc. Notre modèle est construit sur la base de deux modèles Faster-RCNN qui partagent leurs caractéristiques pour effectuer une fusion de caractéristiques basée sur l'attention (Attention-based feature fusion) innovante, combinant les caractéristiques liées à l'objet et à ses parties afin d'obtenir des représentations améliorées des deux. Ces représentations sont ensuite utilisées pour la classification finale et la régression des boîtes englobantes séparément pour chacun des modèles. Nos expériences sur l'ensemble de données PASCAL-Part 2010 montrent que la détection conjointe peut simultanément améliorer la détection d'objets et celle des parties en termes de moyenne de précision (mean Average Precision, mAP) à un seuil d'intersection sur union (IoU) égal à 0,5.