3D AffordanceNet : Un Benchmark pour la Compréhension Visuelle des Possibilités d'Objets

La capacité à comprendre les moyens d'interagir avec des objets à partir de signaux visuels, également connue sous le nom de perception visuelle des possibilités d'action (visual affordance), est essentielle pour la recherche en robotique guidée par la vision. Cela implique la catégorisation, la segmentation et l'inférence de la perception visuelle des possibilités d'action. Bien que des études pertinentes aient été menées précédemment dans les domaines des images 2D et 2,5D, une compréhension véritablement fonctionnelle des possibilités d'action des objets nécessite un apprentissage et une prédiction dans le domaine physique 3D, ce qui fait encore défaut dans la communauté.Dans cette étude, nous présentons le jeu de données 3D AffordanceNet, une référence comprenant 23 000 formes issues de 23 catégories sémantiques d'objets, annotées avec 18 catégories de perception visuelle des possibilités d'action. À partir de ce jeu de données, nous proposons trois tâches de référence pour évaluer la compréhension de la perception visuelle des possibilités d'action, incluant l'estimation complète de forme, l'estimation partielle de vue et l'estimation invariante à la rotation. Trois réseaux neuronaux profonds d'apprentissage sur nuages de points représentatifs de l'état de l'art sont évalués sur toutes ces tâches. De plus, nous explorons également un cadre d'apprentissage semi-supervisé afin d'examiner les avantages potentiels tirés des données non étiquetées.Les résultats exhaustifs sur notre jeu de données contribué montrent le potentiel prometteur de la compréhension de la perception visuelle des possibilités d'action comme un benchmark précieux mais encore difficile.