Segmentation sémantique d'images par réseau de parsing profond

Ce travail aborde le problème du segmention sémantique d'images en intégrant des informations riches dans un champ aléatoire de Markov (MRF), y compris des relations d'ordre supérieur et un mélange de contextes de labels. Contrairement aux approches précédentes qui optimisaient les MRFs à l'aide d'un algorithme itératif, nous proposons une solution basée sur un réseau neuronal convolutif (CNN), nommément le Deep Parsing Network (DPN), qui permet un calcul déterministe de bout en bout en une seule passe avant. Plus précisément, le DPN étend une architecture CNN contemporaine pour modéliser les termes unaires, et des couches supplémentaires sont soigneusement conçues pour approximer l'algorithme du champ moyen (MF) pour les termes binaires. Il présente plusieurs propriétés attractives. Premièrement, contrairement aux travaux récents combinant CNN et MRF, où de nombreuses itérations de MF étaient nécessaires pour chaque image d'entraînement lors de la rétropropagation, le DPN est capable d'atteindre des performances élevées en approximant une seule itération de MF. Deuxièmement, le DPN représente divers types de termes binaires, rendant de nombreux travaux existants comme des cas particuliers. Troisièmement, le DPN facilite la parallélisation et l'accélération de MF sur une unité de traitement graphique (GPU). Le DPN a été évalué en profondeur sur l'ensemble de données PASCAL VOC 2012, où un seul modèle DPN a permis d'obtenir une nouvelle précision record en segmentation.