TextureNet: Konsistente lokale Parametrisierungen zum Lernen aus hochaufgelösten Signalen auf Meshes

Wir stellen TextureNet vor, eine neuronale Netzwerkarchitektur, die entwickelt wurde, um Merkmale aus hochaufgelösten Signalen zu extrahieren, die mit 3D-Oberflächennetzen (z.B. Farbtexturkarten) verbunden sind. Das Kernkonzept besteht darin, ein 4-fach rotationsymmetrisches Feld (4-RoSy) zu nutzen, um einen Bereich für die Faltung auf einer Oberfläche zu definieren. Obwohl 4-RoSy-Felder mehrere Eigenschaften haben, die für die Faltung auf Oberflächen vorteilhaft sind (geringe Verzerrung, wenige Singularitäten, konsistente Parametrisierung usw.), sind Orientierungen bis zu einer vierfachen Rotation an jedem Stichprobenpunkt unbestimmt. Daher führen wir einen neuen faltungsoperativen Operator ein, der invariant gegenüber der Unbestimmtheit des 4-RoSy-Feldes ist, und verwenden ihn in einem Netzwerk zur Extraktion von Merkmalen aus hochaufgelösten Signalen in geodätischen Nachbarschaften einer Oberfläche. Im Vergleich zu Alternativen wie PointNet-basierten Methoden, die keinen Begriff der Orientierung kennen, führt die kohärente Struktur dieser Nachbarschaften zu erheblich stärkeren Merkmalen. Als Anwendungsbeispiel demonstrieren wir die Vorteile unserer Architektur für die 3D-semantische Segmentierung von texturierten 3D-Netzen. Die Ergebnisse zeigen, dass unsere Methode in beiden Szenarien – rein geometrisch (6,4 %) und RGB+Geometrie (6,9-8,2 %) – auf der Grundlage des mittleren IoU alle existierenden Methoden deutlich übertrifft.