時系列分散ネットワークを用いた高速な動画セマンティックセグメンテーション

本稿では、高速かつ高精度な動画セマンティックセグメンテーションを実現するための時系列分散型ネットワーク「TDNet」を提案する。我々は、深層CNNの特定の高レベル層から抽出される特徴量は、複数の浅層サブネットワークから得られる特徴量の組み合わせによって近似可能であることに着目した。動画に内在する時間的連続性を活用し、これらのサブネットワークを連続するフレームに分散配置する。その結果、各時刻においては単一のサブネットワークからサブ特徴量群を軽量な計算で抽出するのみで済む。その後、フレーム間の幾何変形を補償するための新規なアテンション伝播モジュールを用いて、セグメンテーションに使用する完全特徴量を再構成する。さらに、完全特徴量およびサブ特徴量レベルにおける表現力向上を図るため、グループ化された知識蒸留損失（grouped knowledge distillation loss）を導入した。Cityscapes、CamVid、NYUD-v2における実験結果から、本手法が顕著な高速化と低レイテンシを実現しつつ、最先端の精度を達成していることが示された。