理解語義セグメンテーションの畳み込み

最近の深層学習、特に深層畳み込みニューラルネットワーク（CNN）の進歩により、以前の意味的セグメンテーションシステムを大幅に上回る性能向上が達成されました。本稿では、理論的および実践的な価値を持つ畳み込み関連操作を操作することで、画素レベルでの意味的セグメンテーションを改善する方法を示します。まず、画素レベルの予測を生成するために密集アップサンプリング畳み込み（Dense Upsampling Convolution: DUC）を設計しました。これは、通常バイリニアアップサンプリングで欠落しているより詳細な情報を捉え解読する能力を持っています。次に、エンコーディングフェーズでハイブリッドディラテッド畳み込み（Hybrid Dilated Convolution: HDC）フレームワークを提案します。このフレームワークは1) ネットワークの受容野（Receptive Fields: RF）を効果的に拡大し、全体的な情報を集約します；2) 標準的なディラテッド畳み込み操作によって引き起こされる「グリディング問題」（gridding issue）を軽減します。我々はCityscapesデータセット上で手法を徹底的に評価し、提出時のテストセットにおいて80.1%のmIOUという最先端の結果を得ました。また、KITTI道路推定ベンチマークとPASCAL VOC2012セグメンテーションタスクにおいても最先端の総合的な成果を達成しています。ソースコードはhttps://github.com/TuSimple/TuSimple-DUC から入手可能です。