要約
現在の最先端の画像セグメンテーション手法は、色、形状、およびテクスチャ情報を深層CNN内で一緒に処理する密な画像表現を形成します。しかし、これらの情報は認識に必要な非常に異なる種類の情報であるため、理想的とは言えません。本研究では、意味的セグメンテーションのために新しい二つのストリームを持つCNNアーキテクチャを提案します。このアーキテクチャでは、形状情報を別個の処理ブランチ（形状ストリーム）として明示的に接続し、従来のストリームと並列に処理を行います。このアーキテクチャの鍵となる要素は、二つのストリームの中間層を接続する新しいタイプのゲートです。具体的には、従来のストリームにおける高レベルの活性化状態を使用して、形状ストリームにおける低レベルの活性化状態を制御（ゲート）します。これによりノイズが効果的に除去され、形状ストリームが境界に関連する情報のみに焦点を当てるようになります。これにより、形状ストリームでは画像レベル解像度で動作する非常に浅いアーキテクチャを使用することができます。実験結果から、この手法はオブジェクト境界周辺での予測精度を向上させるとともに、細く小さなオブジェクトに対する性能を大幅に向上させることが示されました。本方法はCityscapesベンチマークにおいてマスク（mIoU）と境界（F値）品質の両面で最先端の性能を達成しており、強力なベースラインに対してそれぞれ2%と4%改善しています。