TransCG : Un Grand Ensemble de Données Réelles pour l’Achèvement de Profondeur des Objets Transparents et une Ligne de Base pour la Prise
Les objets transparents sont courants dans notre vie quotidienne et sont fréquemment manipulés dans les chaînes de production automatisées. Une prise et une manipulation robustes basées sur la vision par des robots seraient bénéfiques pour l'automatisation. Cependant, la majorité des algorithmes actuels de prise échouent dans ce cas, car ils dépendent fortement de l'image de profondeur, tandis que les capteurs de profondeur ordinaires échouent généralement à produire des informations de profondeur précises pour les objets transparents en raison de la réflexion et de la réfraction de la lumière. Dans cette étude, nous abordons ce problème en contribuant un grand ensemble de données du monde réel pour le complétion de profondeur d'objets transparents, qui contient 57 715 images RGB-D provenant de 130 scènes différentes. Notre ensemble de données est le premier grand ensemble, issu du monde réel, qui fournit la profondeur vérité-terrain (ground truth depth), les normales de surface et les masques transparents dans des scènes variées et encombrées. Les expériences inter-domaines montrent que notre ensemble de données est plus général et peut améliorer la capacité de généralisation des modèles. De plus, nous proposons un réseau neuronal pour le complétion de profondeur en bout à bout (end-to-end depth completion network), qui prend en entrée l'image RGB et la carte de profondeur imprécise et produit une carte de profondeur raffinée. Les expériences démontrent une efficacité, une efficience et une robustesse supérieures de notre méthode par rapport aux travaux précédents, capable également de traiter des images à haute résolution avec des ressources matérielles limitées. Des expériences sur un robot réel montrent que notre méthode peut être appliquée robustement à la prise d'objets transparents inédits. L'ensemble complet des données et notre méthode sont librement accessibles sur www.graspnet.net/transcg.