Plan2Scene: Konvertierung von Grundrissen in 3D-Szenen

Wir behandeln die Aufgabe, einen Grundriss und eine Reihe zugehöriger Fotos einer Wohnung in ein texturiertes 3D-Gittermodell zu konvertieren, eine Aufgabe, die wir Plan2Scene nennen. Unser System 1) hebt ein Grundrissbild auf ein 3D-Gittermodell an; 2) synthetisiert Oberflächen Texturen basierend auf den Eingangsfotos; und 3) inferiert Texturen für nicht beobachtete Oberflächen unter Verwendung einer Graph-Neural-Netz-Architektur (Graph Neural Network). Um unser System zu trainieren und zu evaluieren, erstellen wir Indoor-Oberflächentexturdatensätze und ergänzen einen Datensatz von Grundrissen und Fotos aus früheren Arbeiten mit rektifizierten Oberflächenausschnitten und zusätzlichen Anmerkungen. Unser Ansatz bewältigt die Herausforderung, für dominante Oberflächen wie Böden, Wände und Decken textilverträgliche Texturen aus einem dünn besetzten Satz von unalignierten Fotos zu erzeugen, die nur teilweise das Wohngebäude abdecken. Qualitative und quantitative Evaluierungen zeigen, dass unser System realistische 3D-Innenraummodelle erzeugt, wobei es Baseline-Methoden sowohl in Bezug auf eine Reihe von Texturgeitseigkeitsmetriken als auch gemessen an einer umfassenden Nutzerstudie übertrifft.