MKConv: Multidimensionale Merkmalsdarstellung für die Analyse von Punktwolken

Trotz des bemerkenswerten Erfolgs der tiefen Lernverfahren bleibt eine optimale Faltungsoperation auf Punktwolken aufgrund ihrer irregulären Datenstruktur weiterhin eine Herausforderung. Bestehende Ansätze konzentrieren sich hauptsächlich auf die Entwicklung effektiver kontinuierlicher Kernel-Funktionen, die beliebige Punkte im kontinuierlichen Raum verarbeiten können. Verschiedene hochleistungsfähige Methoden wurden vorgeschlagen, doch wir beobachten, dass die herkömmliche punktweise Merkmalsdarstellung durch 1D-Kanäle gegeben ist und informativer wird, wenn ihre Repräsentation zusätzliche räumliche Merkmalsdimensionen einbezieht. In diesem Artikel präsentieren wir Multidimensional Kernel Convolution (MKConv), einen neuartigen Faltungsoperator, der lernt, die Punktmerkmalrepräsentation von einem Vektor in eine mehrdimensionale Matrix zu transformieren. Im Gegensatz zur herkömmlichen Punkt-Faltung erfolgt der Prozess in zwei Schritten. (i) Zunächst aktiviert MKConv die räumlichen Dimensionen der lokalen Merkmalsrepräsentation durch Ausnutzung mehrdimensionaler Kernel-Gewichte. Diese räumlich erweiterten Merkmale können ihre eingebettete Information sowohl über räumliche Korrelationen als auch über Kanal-Korrelationen im Merkmalsraum darstellen und somit detailliertere lokale Strukturinformationen enthalten. (ii) Anschließend werden diskrete Faltungen auf die mehrdimensionalen Merkmale angewendet, die als gitterstrukturierte Matrix betrachtet werden können. Auf diese Weise können wir diskrete Faltungen für Punktwolken-Daten nutzen, ohne auf eine Voxelisierung zurückgreifen zu müssen, die mit Informationsverlust einhergeht. Darüber hinaus schlagen wir ein räumliches Aufmerksamkeitsmodul, Multidimensional Local Attention (MLA), vor, das eine umfassende Strukturwahrnehmung innerhalb der lokalen Punktmenge ermöglicht, indem es die räumlichen Merkmalsdimensionen neu gewichtet. Wir zeigen, dass MKConv hervorragende Anwendbarkeit bei Aufgaben der Punktwolkenverarbeitung – einschließlich Objektklassifikation, Objektteilsegmentierung und Szenen-Semantiksegmentierung – aufweist und dabei überlegene Ergebnisse erzielt.