Kreuzmodale Lernverfahren für die bildgestützte Vollständigkeitsrekonstruktion von Punktwolkenformen

In diesem Paper untersuchen wir das aktuelle Thema der Punktwolken-Vervollständigung, geleitet durch ein Hilfsbild. Wir zeigen, wie es möglich ist, die Informationen beider Modalitäten effektiv in einem lokalisierten latente Raum zu kombinieren, wodurch der Bedarf an komplexen Rekonstruktionsmethoden für Punktwolken aus Einzeldarstellungen, wie sie in der State-of-the-Art-Methodik verwendet werden, entfällt. Zudem erforschen wir eine neuartige schwach überwachte Lernform, bei der das Hilfsbild über einen differenzierbaren Renderer auf die vervollständigte Punktwolke eine Überwachungssignale im Bildraum liefert, um die Treue der Rekonstruktion zu messen. Experimente zeigen signifikante Verbesserungen gegenüber den aktuellen überwachten Methoden sowohl bei einmodaler als auch bei multimodaler Vervollständigung. Außerdem belegen wir die Wirksamkeit des schwach überwachten Ansatzes, der eine Reihe von überwachten Methoden übertrifft und mit den neuesten überwachten Modellen, die ausschließlich Punktwolkeninformationen nutzen, konkurrieren kann.