ForkNet: 単一深度画像からの多分岐ボリュームセマンティック補完

私たちは、単一の深度画像から3次元意味補完を行う新しいモデルを提案します。このモデルは、単一のエンコーダと3つの独立したジェネレータに基づいており、これらは元のシーンと完成されたシーンの異なる幾何学的および意味的な表現を再構成し、同じ潜在空間を共有しています。ネットワークの幾何学的ブランチと意味的ブランチ間での情報転送のために、対応するネットワーク層で特徴量を連結するパスを導入しました。実際のシーンからの訓練サンプルが限られていることを考慮して、当社のアーキテクチャの興味深い特性は、高品質で現実的なシーン（遮蔽や実際のノイズも含む）を持つ新しい訓練データセットを生成することで既存のデータセットを補完する能力です。新しいデータセットは、潜在空間から直接特徴量をサンプリングすることによって生成され、部分的な体積表面と完成された体積意味表面の一対が生成されます。さらに、複数のディスクリミネータを使用して再構成の精度と現実性を向上させています。私たちは、最も一般的な2つの補完タスクである意味3次元シーン補完と3次元物体補完に関する標準ベンチマークで当社アプローチの利点を示しています。