Plan2Scene: フロアプランを3Dシーンに変換する

本研究では、住宅の間取り図と関連する一連の写真をテクスチャ付き3Dメッシュモデルに変換するタスク、すなわちPlan2Scene（プランツーシーン）に取り組んでいます。当システムは1) 間取り図の画像を3Dメッシュモデルに昇華し、2) 入力写真に基づいて表面テクスチャを合成し、3) グラフニューラルネットワークアーキテクチャを使用して観測されていない表面のテクスチャを推論します。当システムの訓練および評価のために、室内表面テクスチャデータセットを作成し、先行研究で使用された間取り図と写真のデータセットを矩形化された表面クロップと追加注釈で拡張しました。当手法は、床や壁、天井などの主要な表面に対してタイル可能テクスチャを生成するという課題に対処しており、これらの表面は部分的にしかカバーされていない疎な未整列写真から生成されます。定性的評価と定量的評価により、当システムが現実的な3D室内モデルを生成することを示しており、複数のテクスチャ品質指標においてベースライン手法を上回り、包括的なユーザースタディでもその優位性が確認されています。