Détection des piétons assistée par les tâches sémantiques d'apprentissage profond

Les méthodes d'apprentissage profond ont connu un grand succès dans la détection des piétons, grâce à leur capacité à apprendre des caractéristiques à partir de pixels bruts. Cependant, elles capturent principalement des représentations de niveau intermédiaire, telles que la posture du piéton, mais confondent les échantillons positifs avec les échantillons négatifs difficiles, qui présentent une grande ambiguïté. Par exemple, la forme et l'apparence d'un « tronc d'arbre » ou d'un « poteau électrique » peuvent ressembler à celles d'un piéton sous certains angles de vue. Cette ambiguïté peut être distinguée par des représentations de niveau supérieur. A cet effet, cette étude optimise conjointement la détection des piétons avec des tâches sémantiques, y compris les attributs des piétons (par exemple, « porter un sac à dos ») et les attributs de la scène (par exemple, « route », « arbre » et « horizontal »). Au lieu d'annoter coûteusement les attributs de la scène, nous transférons ces informations d'attributs à partir de jeux de données existants de segmentation de scènes vers le jeu de données des piétons, en proposant un modèle profond novateur pour apprendre des caractéristiques de haut niveau à partir de plusieurs tâches et sources de données. Étant donné que différentes tâches convergent à différents rythmes et que les données provenant de différents jeux de données ont des distributions différentes, une fonction objectif multi-tâche est soigneusement conçue pour coordonner les tâches et réduire les disparités entre les jeux de données. Les coefficients d'importance des tâches et les paramètres du réseau dans cette fonction objectif peuvent être estimés itérativement. Des évaluations approfondies montrent que l'approche proposée surpasse l'état de l'art sur les jeux de données difficiles Caltech et ETH, où elle réduit respectivement les taux d'omission des modèles profonds précédents de 17 % et 5,5 %.