Total3DUnderstanding：単一画像から室内シーンのレイアウト、オブジェクトポーズおよびメッシュ再構成を統合的に実現する手法

インテリアシーンの意味的再構築とは、シーンの理解とオブジェクトの再構築の両方を含むものである。従来の研究では、この問題の一方の側面に焦点を当てているか、あるいは独立したオブジェクトにのみ注目している。本論文では、理解と再構築の間のギャップを埋め、単一の画像から部屋のレイアウト、オブジェクトのバウンディングボックス、およびメッシュを一括して再構築するエンド・ツー・エンドの解決策を提案する。シーン理解とオブジェクト再構築を別々に処理するのではなく、本手法は包括的なシーンコンテキストに基づき、以下の3つの構成要素からなる粗い段階から細かい段階への階層構造を採用する：1. カメラポーズを含む部屋のレイアウト；2. 3次元オブジェクトのバウンディングボックス；3. オブジェクトのメッシュ。各構成要素のコンテキストを理解することで、他の構成要素の解析を支援できると主張する。この相互補完的な関係により、統合的な理解と再構築が可能となる。SUN RGB-DおよびPix3Dデータセットにおける実験結果から、本手法がインテリアレイアウト推定、3次元オブジェクト検出、メッシュ再構築の各分野において、従来の手法を一貫して上回ることが示された。