要約
2D認識技術の急速な進歩により、実世界の画像における物体検出を正確に行うシステムが開発されました。しかし、これらのシステムは2Dでの予測に留まり、世界の3D構造を無視しています。一方で、3D形状予測の進歩は主に合成ベンチマークや単独の物体に焦点を当ててきました。本研究では、これらの2つの分野における進歩を統合します。我々は、実世界の画像から物体を検出し、各検出された物体の完全な3D形状を与える三角メッシュを生成するシステムを提案します。このシステムはMesh R-CNNと呼ばれ、Mask R-CNNにメッシュ予測ブランチを追加することで、まず粗いボクセル表現を予測し、それをメッシュに変換し、さらにメッシュの頂点と辺に対してグラフ畳み込みネットワーク（Graph Convolutional Network）によって精緻化するというプロセスを行います。我々はShapeNetにおいてメッシュ予測ブランチの有効性を確認し、単一画像からの形状予測において先行研究を超える性能を達成しました。その後、Pix3Dにおいて全般的Mesh R-CNNシステムを展開し、物体検出とその3D形状予測を同時に行いました。