Spin-Weighted Spherical CNNs

Die Lernung von äquivarianten Darstellungen ist ein vielversprechender Ansatz, um den Stichproben- und Modellkomplexitätsaufwand zu reduzieren und die Generalisierungsfähigkeit tiefer neuronaler Netze zu verbessern. Sphärische CNNs sind erfolgreiche Beispiele hierfür und erzeugen SO(3)-äquivariante Darstellungen sphärischer Eingaben. Es gibt zwei Haupttypen sphärischer CNNs. Der erste Typ hebt die Eingaben auf Funktionen über der Rotationsgruppe SO(3) hoch und wendet Faltungen auf dieser Gruppe an, was rechnerisch aufwendig ist, da SO(3) eine zusätzliche Dimension besitzt. Der zweite Typ wendet Faltungen direkt auf der Sphäre an, ist jedoch auf zonale (isotrope) Filter beschränkt und weist daher eine begrenzte Ausdruckskraft auf. In diesem Artikel präsentieren wir einen neuen Typ sphärischer CNNs, der anisotrope Filter effizient ermöglicht, ohne jemals den sphärischen Bereich zu verlassen. Der zentrale Gedanke basiert auf der Verwendung von spin-gewichteten sphärischen Funktionen, die in der Physik zur Untersuchung von Gravitationswellen eingeführt wurden. Dies sind komplexwertige Funktionen auf der Sphäre, deren Phase sich bei Rotation ändert. Wir definieren eine Faltung zwischen spin-gewichteten Funktionen und bauen darauf ein CNN auf. Spin-gewichtete Funktionen können zudem als sphärische Vektorfelder interpretiert werden, was Anwendungen bei Aufgaben ermöglicht, bei denen die Eingaben oder Ausgaben Vektorfelder sind. Experimente zeigen, dass unsere Methode gegenüber früheren Ansätzen bei Aufgaben wie der Klassifikation sphärischer Bilder, der Klassifikation dreidimensionaler Formen sowie der semantischen Segmentierung sphärischer Panoramen übertrifft.