ForkNet: Mehrfachverzweigte Volumetrische Semantische Ergänzung aus einem einzelnen Tiefenbild

Wir schlagen ein neues Modell für die 3D semantische Vervollständigung aus einem einzelnen Tiefenbild vor, das auf einem einzelnen Encoder und drei getrennten Generatoren basiert, die verschiedene geometrische und semantische Darstellungen der ursprünglichen und vervollständigten Szene rekonstruieren, wobei alle denselben latente Raum teilen. Um Informationen zwischen den geometrischen und semantischen Zweigen des Netzes zu übertragen, führen wir Pfade zwischen ihnen ein, die Merkmale in entsprechenden Netzschichten verketten. Angeregt durch die begrenzte Anzahl von Trainingsbeispielen aus realen Szenen ist eine interessante Eigenschaft unserer Architektur die Fähigkeit, den vorhandenen Datensatz durch die Erzeugung eines neuen Trainingsdatensatzes mit hochwertigen, realistischen Szenen zu ergänzen, die sogar Verdeckungen und echtes Rauschen einschließen. Wir erstellen den neuen Datensatz, indem wir die Merkmale direkt aus dem latenten Raum entnehmen, was ein Paar aus teilweise volumetrischer Oberfläche und vollständiger volumetrischer semantischer Oberfläche erzeugt. Des Weiteren nutzen wir mehrere Diskriminatoren, um die Genauigkeit und Realismus der Rekonstruktionen zu erhöhen. Wir demonstrieren die Vorteile unseres Ansatzes an Standard-Benchmarks für die beiden am häufigsten vorkommenden VervollständigungsAufgaben: semantische 3D-Szene-Vervollständigung und 3D-Objekt-Vervollständigung.