SFNet: セマンティックフローを用いた高速かつ正確なセマンティックセグメンテーション

本論文では、より高速かつ正確な意味分割のための効果的な手法を探求することに焦点を当てています。性能向上の一般的な方法は、強い意味表現を持つ高解像度特徴マップを得ることです。この目的のために広く使用されている2つの戦略は、アトラス畳み込み（atrous convolutions）と特徴ピラミッド融合（feature pyramid fusion）ですが、どちらも計算量が多大であるか、または効果が不十分であるという問題があります。隣接するビデオフレーム間の動き合わせに用いられる光学フロー（Optical Flow）から着想を得て、我々は隣接するレベル間の特徴マップ間でセマンティックフロー（Semantic Flow）を学習し、効率的かつ効果的に高レベルの特徴を高解像度特徴に伝播させるためのフローアライメントモジュール（Flow Alignment Module, FAM）を提案します。さらに、標準的な特徴ピラミッド構造にFAMを統合することで、他のリアルタイム手法よりも優れた性能を発揮することが確認されました。特に軽量なバックボーンネットワーク（ResNet-18やDFNetなど）でも同様です。また、推論処理をさらに高速化するために、我々は新しいゲーテッドデュアルフローアライメントモジュール（Gated Dual Flow Alignment Module）を提案し、これにより高解像度特徴マップと低解像度特徴マップを直接合わせることができます。この改良版ネットワークをSFNet-Liteと呼びます。複数の困難なデータセット上で広範な実験を行った結果、SFNetおよびSFNet-Liteの有効性が示されました。特にCityscapesテストセットを使用した場合、ResNet-18バックボーンで60 FPSで動作するSFNet-Liteシリーズは80.1 mIoUを達成し、STDCバックボーンで120 FPSで動作する場合は78.8 mIoUを達成しました。さらに、4つの困難なドライブデータセットを1つの大きなデータセットに統一し、「統一ドライブセグメンテーション」（Unified Driving Segmentation, UDS）データセットと命名しました。このデータセットには多様なドメインとスタイル情報が含まれています。UDS上でいくつかの代表的な研究成果とのベンチマークを行い、SFNetおよびSFNet-Liteは依然として最良の速度と精度のトレードオフを達成しており、このような困難な設定における強力なベースラインとなっています。コードとモデルは公開されており、https://github.com/lxtGH/SFSegNets からアクセスできます。