CNNを用いた疎データと密データ：深度補完とセマンティックセグメンテーション

畳み込みニューラルネットワーク（CNN）は密データ向けに設計されていますが、視覚データはしばしば疎である（ステレオ深度、ポイントクラウド、ペンストロークなど）。本稿では、疎な深度データを任意の密RGBと共に処理し、最終層のみを変更することで深度補完とセマンティックセグメンテーションを達成する方法を提案します。当提案手法は、有効性マスクを追加することなく効率的に疎な特徴を学習します。また、入力の疎さが異なる場合でもネットワークの堅牢性を確保する方法について説明します。当手法は密度が0.8%（8レイヤーLiDAR）という極めて低い場合でも機能し、Kitti深度補完ベンチマークにおいて公開されている最先端の手法全てを上回る性能を示しています。