17日前

意味的フローを用いた高速かつ高精度なシーン解析

Xiangtai Li, Ansheng You, Zhen Zhu, Houlong Zhao, Maoke Yang, Kuiyuan Yang, Yunhai Tong
意味的フローを用いた高速かつ高精度なシーン解析
要約

本稿では、高速かつ高精度なシーン解析を実現するための有効な手法の設計に焦点を当てる。性能向上のための一般的なアプローチとして、強力な意味的表現を持つ高解像度の特徴マップを取得することが挙げられる。この目的を達成するため、広く用いられる二つの戦略として、アトラス畳み込み(atrous convolutions)と特徴ピラミッド融合(feature pyramid fusion)があるが、いずれも計算コストが高く、あるいは効果が限定的であるという課題を抱えている。そこで、隣接する動画フレーム間の動きの整合性を捉えるためのオプティカルフロー(Optical Flow)の知見に着想を得て、隣接する特徴マップレベル間の「意味的フロー(Semantic Flow)」を学習するためのフローアライメントモジュール(Flow Alignment Module, FAM)を提案する。本モジュールにより、高レベルの特徴を高解像度の特徴マップへ効果的かつ効率的に伝達することが可能となる。さらに、一般的な特徴ピラミッド構造に本モジュールを統合した場合、ResNet-18のような軽量バックボーンネットワークを用いても、他のリアルタイム手法と比較して優れた性能を発揮することが示された。本手法の有効性は、Cityscapes、PASCAL Context、ADE20K、CamVidなど、複数の難易度の高いデータセット上で広範な実験により検証された。特に、本ネットワークは、26 FPSのフレームレートを維持しつつ、Cityscapesデータセットで初めて80.4%のmIoUを達成した。コードは以下のURLから公開されている:\url{https://github.com/lxtGH/SFSegNets}。

意味的フローを用いた高速かつ高精度なシーン解析 | 最新論文 | HyperAI超神経