Interpolierte Faltungsnetze für das Verständnis von 3D-Punktwolken

Punktewolke ist eine wichtige Art der 3D-Darstellung. Allerdings stellt die direkte Anwendung von Faltungen auf Punktewolken aufgrund der dünn besetzten, unregelmäßigen und ungeordneten Datenstruktur eine Herausforderung dar. In dieser Arbeit schlagen wir eine neuartige interpolierte Faltungsvorgang, InterpConv, vor, um das Problem des Merkmalslernens und -verstehens in Punktewolken zu bewältigen. Die Kernidee besteht darin, eine Menge diskreter Kerngewichte zu verwenden und die Punkteigenschaften durch eine Interpolationsfunktion an benachbarte Kerngewichtskoordinaten zu interpolieren, um die Faltung durchzuführen. Ein Normalisierungsterm wird eingeführt, um Nachbarschaften mit unterschiedlichen Dichtigkeitsniveaus zu behandeln. Unser InterpConv wird als permutations- und dichtigkeitsinvariant gezeigt und kann unregelmäßige Eingaben direkt verarbeiten. Wir entwerfen ferner Interpolierte Faltungsneuronale Netze (InterpCNNs) basierend auf InterpConv-Schichten, um Aufgaben der Punktewolken-Erkennung wie Formklassifizierung, Objektteilsegmentierung und semantische Analyse von Innenräumen zu bearbeiten. Experimente zeigen, dass die Netze sowohl feingranulare lokale Strukturen als auch globale Formkontextinformationen effektiv erfassen können. Der vorgeschlagene Ansatz erreicht den Stand der Technik bei öffentlichen Benchmarks wie ModelNet40, ShapeNet Parts und S3DIS.