Réseau de neurones profond entraînable en bout à bout pour la détection de préhension robotique et la segmentation sémantique à partir de RGB

Dans ce travail, nous introduisons une nouvelle architecture basée sur un réseau de neurones convolutif (CNN), entièrement entraînable en bout à bout, capable de produire des résultats de haute qualité pour la détection de préhension adaptée à une pince à plaques parallèles ainsi que pour la segmentation sémantique. En s’appuyant sur cette architecture, nous proposons un nouveau module de raffinement qui exploite les résultats précédemment calculés de détection de préhension et de segmentation sémantique afin d’améliorer davantage la précision de la détection de préhension. Notre réseau proposé atteint des performances de pointe sur deux jeux de données populaires pour la détection de préhension, à savoir Cornell et Jacquard. En complément, nous proposons une extension originale du jeu de données OCID, permettant d’évaluer la détection de préhension dans des scènes particulièrement complexes. À l’aide de ce nouveau jeu de données, nous démontrons que la segmentation sémantique peut également être utilisée pour associer des candidats de préhension aux classes d’objets, ce qui permet de sélectionner des objets spécifiques dans une scène.