ClearGrasp: 3D-Formschätzung von transparenten Objekten für die Manipulation

Transparente Objekte sind ein übliches Element des täglichen Lebens, doch sie besitzen einzigartige visuelle Eigenschaften, die es für Standard-3D-Sensoren extrem schwierig machen, genaue Tiefenschätzungen für sie zu erzeugen. In vielen Fällen erscheinen sie als rauschige oder verzerrte Annäherungen der dahinterliegenden Oberflächen. Um diese Herausforderungen anzugehen, stellen wir ClearGrasp vor – einen tiefen Lernansatz zur Schätzung der genauen 3D-Geometrie von transparenten Objekten aus einem einzelnen RGB-D-Bild für robotergesteuerte Manipulation. Angewendet auf ein einzelnes RGB-D-Bild von transparenten Objekten nutzt ClearGrasp tiefe Faltungsnetze (deep convolutional networks), um Oberflächennormalen, Masken transparenter Oberflächen und Okklusionsgrenzen zu bestimmen. Es verwendet diese Ausgaben dann, um die anfänglichen Tiefenschätzungen aller transparenten Oberflächen in der Szene zu verfeinern. Für das Training und Testen von ClearGrasp erstellen wir eine groß angelegte synthetische Datensammlung mit über 50.000 RGB-D-Bildern sowie einen realweltlichen Testbenchmark mit 286 RGB-D-Bildern von transparenten Objekten und deren wahren Geometrien (ground truth geometries). Die Experimente zeigen, dass ClearGrasp erheblich besser ist als monoökulare Tiefenschätzungsverfahren und in der Lage ist, sich auf realweltliche Bilder und neue Objekte zu verallgemeinern. Wir demonstrieren außerdem, dass ClearGrasp direkt ohne Anpassung angewendet werden kann, um die Leistungsfähigkeit von Greifalgorithmen bei transparenten Objekten zu verbessern. Der Quellcode, die Daten und die Benchmarks werden veröffentlicht. Ergänzende Materialien sind auf der Projektwebsite verfügbar: https://sites.google.com/view/cleargrasp