PartNet: Ein rekursives Netzwerk zur feingranularen und hierarchischen Formsegmentierung

Tiefe Lernverfahren zur Segmentierung von 3D-Formen werden in der Regel als ein Problem der Mehrklassen-Beschriftung formuliert. Bestehende Modelle werden für eine feste Menge von Labels trainiert, was ihre Flexibilität und Anpassungsfähigkeit erheblich einschränkt. Wir entscheiden uns für eine top-down rekursive Zerlegung und entwickeln das erste tiefenlernenbasierte Modell zur hierarchischen Segmentierung von 3D-Formen, das auf rekurrenten neuronalen Netzen basiert. Ausgehend von einer vollständigen Form, die als Punktwolke dargestellt wird, führt unser Modell eine rekursive binäre Zerlegung durch, wobei die Zerlegungsnetze an allen Knoten der Hierarchie Gewichte teilen. An jedem Knoten wird ein Knotenklassifizierer trainiert, um den Typ (Adjazenz oder Symmetrie) und die Abbruchkriterien seiner Zerlegung zu bestimmen. Die in höheren Knoten extrahierten Merkmale werden rekursiv an niedrigere Knoten weitergegeben. Somit bieten die sinnvollen Zerlegungen in den höheren Ebenen starke kontextuelle Hinweise, die die Segmentierungen in den niedrigeren Ebenen einschränken. Gleichzeitig, um die Segmentierungsgenauigkeit an jedem Knoten zu erhöhen, ergänzen wir das rekursive kontextuelle Merkmal mit dem für den entsprechenden Teil extrahierten Formmerkmal. Unsere Methode segmentiert eine 3D-Form in einer Punktwolke in eine variable Anzahl von Teilen, abhängig von der Formkomplexität, was starke Allgemeingültigkeit und Flexibilität zeigt. Sie erreicht den Stand der Technik sowohl bei feinkörniger als auch bei semantischer Segmentierung auf einem öffentlichen Benchmark-Datensatz sowie auf einem neuen Benchmark-Datensatz für feinkörnige Segmentierung, der in dieser Arbeit vorgeschlagen wird. Wir demonstrieren zudem ihre Anwendung für feinkörnige Teilverbesserungen bei der Bild-zu-Form-Rekonstruktion.