要約
私たちは画像の各ピクセルを意味的なクラスにラベリングするタスクであるセマンティックセグメンテーションのための新しい手法を提案します。当手法は、2つの主要な競合パラダイムの利点を組み合わせています。領域分類に基づく手法は、外観測定のために適切な空間的サポートを提供しますが、通常2つの別々のステージで動作し、いずれもパイプラインの最終段階でのピクセルラベリング性能を対象にしていません。より最近の完全畳み込み型手法は、最終的なピクセルラベリングに対してエンドツーエンドで学習できる能力を持っていますが、固定されたパッチを使用して空間的サポートを行います。私たちは現代的な領域ベースアプローチを変更することで、セマンティックセグメンテーションに対するエンドツーエンドでの学習を可能にする方法を示します。これは、微分可能な領域からピクセルへのレイヤーと微分可能な自由形状のRegion-of-Interestプーリングレイヤー（ROIプーリングレイヤー）を通じて達成されます。当手法はSIFT Flowにおいてクラス平均精度で64.0%、PASCAL Contextにおいて49.9%という結果を出し、特にオブジェクト境界での精度が高いことが確認されています。