17日前

歪み認識型特徴補正を用いた動画セマンティックセグメンテーション

Jiafan Zhuang, Zilei Wang, Bingke Wang
歪み認識型特徴補正を用いた動画セマンティックセグメンテーション
要約

近年、画像の意味的セグメンテーションにおける著しい進展を背景に、動画意味的セグメンテーションが活発な研究対象となっている。このようなタスクにおいて、フレームごとの画像セグメンテーションを単独で行うのは、計算コストが高いため実用上は不適切である。この問題に対処するため、多くの研究では前フレームの特徴量を再利用するためのフローに基づく特徴量伝播手法が用いられている。しかし、光流(optical flow)推定には避けがたい誤差が生じやすく、その結果、伝播された特徴量が歪む問題が発生する。本論文では、この歪みを認識した特徴量補正手法を提案し、歪んだ伝播特徴量を補正することで動画意味的セグメンテーションの性能を向上させる。具体的には、まず特徴量空間における歪みパターンを画像空間に変換し、効果的な歪みマップ予測を実現する手法を提案する。この歪みマップのガイドによって、歪み領域における伝播特徴量を補正するための特徴量補正モジュール(Feature Correction Module: FCM)を構築した。本手法は、低コストで動画意味的セグメンテーションの精度を顕著に向上させることができる。CityscapesおよびCamVidにおける広範な実験結果から、本手法が最近の最先端手法を上回ることを示した。

歪み認識型特徴補正を用いた動画セマンティックセグメンテーション | 最新論文 | HyperAI超神経