Segmentierung transparenter Objekte in der Wildnis

Transparent Objekte wie Fenster und Gläser aus Glas sind in der realen Welt weit verbreitet. Die Segmentierung solcher Objekte ist herausfordernd, da diese aufgrund ihres vom Hintergrund geerbten Erscheinungsbilds oft eine äußerst ähnliche Optik wie ihre Umgebung aufweisen. Neben den technischen Schwierigkeiten dieser Aufgabe existieren bisher nur wenige Datensätze, die speziell für diese Herausforderung entworfen und gesammelt wurden. Die meisten bestehenden Datensätze weisen gravierende Mängel auf: Entweder sind sie auf eine geringe Anzahl an Bildern beschränkt – etwa tausend Bilder ohne manuelle Annotationen – oder alle Bilder wurden mittels Computergrafik generiert (d. h. nicht aus echten Aufnahmen). Um dieses wichtige Problem anzugehen, stellen wir in dieser Arbeit einen großskaligen Datensatz für die Segmentierung transparenter Objekte vor, namens Trans10K, der 10.428 Bilder realer Szenen mit sorgfältig durchgeführten manuellen Annotationen enthält – damit zehnmal größer als bestehende Datensätze. Die transparenten Objekte in Trans10K sind aufgrund ihrer extremen Vielfalt in Skalierung, Blickwinkel und Überlagerung (Occlusion), wie in Abbildung 1 dargestellt, äußerst anspruchsvoll. Um die Wirksamkeit von Trans10K zu evaluieren, schlagen wir eine neuartige, randorientierte Segmentierungsmethode vor, die als TransLab bezeichnet wird und den Rand als Hinweis nutzt, um die Segmentierung transparenter Objekte zu verbessern. Umfangreiche Experimente und Ablationstudien belegen die Wirksamkeit von Trans10K und bestätigen die praktische Relevanz des Lernens von Objekträndern in TransLab. So übertrifft TransLab deutlich 20 jüngere, auf tiefen neuronalen Netzen basierende Methoden zur Objektsegmentierung, was zeigt, dass diese Aufgabe bisher weitgehend ungelöst ist. Wir sind überzeugt, dass sowohl Trans10K als auch TransLab sowohl für die akademische Forschung als auch für industrielle Anwendungen bedeutende Beiträge leisten und somit zukünftige Forschungen und Anwendungen maßgeblich fördern werden.