要約
現実的な動画における行動検出のため、マルチリージョン二ストリームR-CNNモデルを提案する。本研究はFaster R-CNN [1]を基盤としたフレームレベルの行動検出から出発し、以下の3つの貢献を行う。(1) 動作領域提案ネットワーク（motion region proposal network）が高品質な提案を生成できることを示し、外観領域提案ネットワーク（appearance region proposal network）の提案と補完的であることを明らかにする。(2) 複数フレームにわたるオプティカルフローを積み重ねることで、フレームレベルの行動検出性能が顕著に向上することを示す。(3) Faster R-CNNモデルにマルチリージョンスキームを組み込むことで、身体部位に関する補完的な情報を導入する。その後、フレームレベルの検出結果をViterbiアルゴリズムで連結し、最大部分配列法（maximum subarray method）を用いて行動の時系列的局所化を実現する。UCF-Sports、J-HMDB、UCF101の行動検出データセットにおける実験結果から、本手法がフレーム単位mAPおよび動画単位mAPの両面で、既存の最先端手法と比較して顕著な優位性を示すことが確認された。