CorrNet3D: Unüberwachtes end-to-end Lernen dichter Korrespondenzen für 3D-Punktwolken

Aus der Intuition heraus, dass man zwei ausgerichtete Punktwolken leichter und sinnvoller ineinander transformieren kann als ein fehlendes ausgerichtetes Paar, schlagen wir CorrNet3D vor – den ersten unüberwachten und end-to-end tiefen Lern-basierten Rahmen (unsupervised and end-to-end deep learning-based framework) – um das Lernen dichter Korrespondenzen zwischen 3D-Formen durch Deformations-Rekonstruktion zu fördern und so die Notwendigkeit annotierter Daten zu überwinden. Insbesondere besteht CorrNet3D aus einem Modul zur tiefen Merkmalsextraktion sowie zwei neuartigen Modulen, die als Korrespondenzindikator (correspondence indicator) und symmetrischer Deformer (symmetric deformer) bezeichnet werden. Bei der Eingabe eines Paares roher Punktwolken lernt unser Modell zunächst die punktbezogenen Merkmale und übergibt diese an den Indikator, um eine lernbare Korrespondenzmatrix zu generieren, die verwendet wird, um das Eingabepaar zu permutieren. Der symmetrische Deformer transformiert mit einem zusätzlichen regularisierten Verlust die beiden permutierten Punktwolken ineinander, um das unüberwachte Lernen der Korrespondenz zu treiben. Ausführliche Experimente sowohl auf synthetischen als auch auf realen Datensätzen von starren und nicht-starren 3D-Formen zeigen, dass unser CorrNet3D weitgehend den Stand der Technik übertrifft, einschließlich Methoden, die Netze als Eingabe verwenden. CorrNet3D ist ein flexibles Framework, da es sich leicht an überwachtes Lernen anpassen lässt, falls annotierte Daten verfügbar sind. Der Quellcode und das vortrainierte Modell werden unter https://github.com/ZENGYIMING-EAMON/CorrNet3D.git zur Verfügung gestellt.