Two Stream 3D セマンティックシーンコンプリーション

非表示部分の3次元形状と表面の意味を推論することは非常に困難な課題である。最近、単一の深度画像からシーンを完成させる最初の一貫した学習アプローチが提案された。このアプローチはシーンをボクセル化し、各ボクセルが占有されているかどうか、そして占有されている場合そのセマンティッククラスラベルを予測する。本研究では、RGB画像から推論される深さ情報とセマンティック情報を活用する二つのストリームアプローチを提案する。このアプローチは、推論されたセマンティック情報をコンパクトな三チャンネル符号化で表現する不完全な3次元セマンティックテンソルを構築し、3次元CNNを使用して完全な3次元セマンティックテンソルを推論する。実験評価において、提案した二つのストリームアプローチが既存の最先端技術に対して大幅に優れていることを示している。