要約
MonoSceneは、単一の単眼RGB画像からシーンの濃密な幾何学構造と意味を推論する3Dセマンティックシーンコンプリーション（SSC）フレームワークを提案しています。既存のSSC文献が2.5次元や3次元入力に依存しているのとは異なり、我々は2Dから3Dへのシーン再構築という複雑な問題を解きつつ、その意味も同時に推論します。当フレームワークは、光学から着想を得た革新的な2D-3D特徴投影によって接続された連続的な2Dおよび3D U-Netsに依存しており、空間-意味的一貫性を確保するために3Dコンテキスト関係事前知識を導入しています。アーキテクチャ上の貢献とともに、新たなグローバルシーン損失と局所フロンストラム損失も提案しています。実験結果は、すべての評価指標とデータセットにおいて既存文献を上回り、カメラ視野角を超えた範囲でも合理的な景色を生成できることを示しています。当研究のコードと学習済みモデルは、https://github.com/cv-rits/MonoScene で公開されています。