Estimation de la pose d'objets 6D guidée par la segmentation

La tendance la plus récente dans l'estimation de la pose 6D d'objets rigides consiste à former des réseaux profonds pour soit régler directement la pose à partir de l'image, soit prédire les emplacements 2D des points clés 3D, à partir desquels la pose peut être obtenue en utilisant un algorithme PnP (Perspective-n-Point). Dans les deux cas, l'objet est considéré comme une entité globale et une seule estimation de pose est calculée. En conséquence, ces techniques peuvent être vulnérables aux grandes occultations.Dans cet article, nous présentons un cadre d'estimation de la pose 6D guidé par la segmentation où chaque partie visible des objets contribue à une prédiction locale de la pose sous forme d'emplacement de points clés 2D. Nous utilisons ensuite une mesure prédite de confiance pour combiner ces candidats de pose en un ensemble robuste de correspondances 3D-2D, à partir duquel une estimation fiable de la pose peut être obtenue. Nous surpassons l'état de l'art sur les jeux de données difficiles Occluded-LINEMOD et YCB-Video, ce qui témoigne que notre approche gère bien plusieurs objets peu texturés s'occluant mutuellement. De plus, elle repose sur une architecture suffisamment simple pour atteindre des performances en temps réel.