アップ・トゥ・ダウン・ネットワーク：3次元セマンティックシーンコンプリートのためのマルチスケールコンテキスト融合

自律走行およびロボティクスシステムにおいて、効率的な3次元シーン認識アルゴリズムは不可欠な要素である。本論文では、物体のボリューム占有状態とセマンティックラベルを同時に推定する「セマンティックシーンコンプリート（semantic scene completion）」というタスクに注目する。現実世界のデータは疎であり、オクルージョンが頻発するため、このタスクは極めて困難である。本研究では、ボクセルグリッドを入力として用いるエンコーダ・デコーダアーキテクチャに基づき、大規模なセマンティックシーンコンプリートを実現するための新しいフレームワーク、Up-to-Downネットワーク（UDNet）を提案する。提案する新規な「アップ・トゥ・ダウンブロック（up-to-down block）」は、多スケールのコンテキスト情報を効果的に集約することで、ラベルの整合性を向上させる。また、アトリウス空間ピラミッドプーリングモジュールを活用することで、受容野を拡大しつつも詳細な幾何学的情報を保持する。さらに、提案するマルチスケール融合機構により、グローバルな背景情報を効率的に集約し、セマンティックコンプリートの精度を向上させる。さらに、異なるタスクニーズに対応するため、UDNetはマルチリゾリューションのセマンティックコンプリートを実現可能であり、より高速だが粗い結果も得られる。SemantickITTIのセマンティックシーンコンプリートベンチマークにおける詳細な実験結果から、本研究で提案するフレームワークは、従来の最先端手法を大きく上回る性能を達成するとともに、ボクセルグリッドのみを入力として用いることにより、リアルタイムの推論速度を実現した。