SPLATNet: Spärliche Gitternetze für die Verarbeitung von Punktwolken

Wir präsentieren eine Netzwerkarchitektur zur Verarbeitung von Punktwolken, die direkt auf einer Sammlung von Punkten operiert, die als dünn besetzte Menge von Stichproben in einem hochdimensionalen Gitter dargestellt sind. Die naive Anwendung von Faltungen auf diesem Gitter skaliert schlecht, sowohl hinsichtlich des Speicherverbrauchs als auch der Rechenkosten, wenn die Größe des Gitters zunimmt. Stattdessen verwendet unser Netzwerk dünn besetzte bilaterale Faltungsschichten als Bausteine. Diese Schichten gewährleisten Effizienz durch die Verwendung von Indizesstrukturen, um Faltungen nur auf den besetzten Teilen des Gitters anzuwenden, und ermöglichen flexible Spezifikationen der Gitterstruktur, was hierarchisches und räumlich bewusstes Merkmalslernen sowie gemeinsames 2D-3D-Schließen (joint 2D-3D reasoning) erlaubt. Sowohl punktbasierte als auch bildbasierte Darstellungen können leicht in ein Netzwerk mit solchen Schichten integriert werden, und das resultierende Modell kann end-to-end trainiert werden. Wir präsentieren Ergebnisse für 3D-Segmentierungsaufgaben, bei denen unser Ansatz bestehende state-of-the-art-Techniken übertrifft.