局所性敏感なデコンボリューションネットワークとゲート付き融合を用いたRGB-D室内セマンティックセグメンテーション

本稿では、RGB-Dデータを用いた室内セマンティックセグメンテーションに焦点を当てる。一般的に用いられるデコンボリューションネットワーク（DeconvNet）は、このタスクにおいて顕著な成果を上げているが、我々はその二つの側面においてさらなる改善の余地があることを明らかにした。一つは境界セグメンテーションに関するものである。DeconvNetは各ピクセルのラベルを予測するために広範なコンテキストを統合するが、この性質上、物体境界のセグメンテーション精度に inherently 限界が生じる。もう一つはRGB-D融合に関するものである。最近の最先端手法では、シーンやカテゴリに応じてRGBと深度のモダリティが果たす貢献度が異なるにもかかわらず、両者のスコアを等価重みで統合する方法が一般的である。これらの問題に対処するため、まず各モダリティにおける境界セグメンテーションの精度を向上させるために、局所性に敏感なDeconvNet（LS-DeconvNet）を提案する。LS-DeconvNetは、元のRGB-Dデータから得られる局所的な視覚的および幾何的ヒントを各DeconvNetに組み込むことで、広範なコンテキストを持つ粗い畳み込みマップをアップサンプリングしつつ、鋭い物体境界を回復する能力を学習可能とする。RGB-D融合の観点からは、二つのLS-DeconvNetを効果的に統合するゲート付き融合層を導入する。この層は、各ピクセルにおいてRGBと深度の貢献度を動的に調整することで、高性能な物体認識を実現する。大規模なSUN RGB-Dデータセットおよび代表的なNYU-Depth v2データセットにおける実験結果から、本手法がRGB-D室内セマンティックセグメンテーションにおいて、新たな最先端の性能を達成していることが示された。