要約
光流の計算にかかる時間の長さを考慮し、最近の研究では運動特徴の抽出の代替手段として相関演算を用いる手法が提案されている。相関演算を用いることで、FLOPs（浮動小数点演算回数）の増加がほとんどない状態で顕著な性能向上が達成されるものの、畳み込み演算と比べて1FLOPあたりのレイテンシが著しく増加し、探索用パッチのサイズが大きくなるにつれて顕著なレイテンシの増加が生じる。さらに、相関演算における探索パッチの縮小は、大規模な動きを捉える能力の欠如により、性能の低下を避けがたい。本論文では、効率的かつ低レイテンシなマルチスケール運動認識（Multi-Scale Motion-Aware; MSMA）モジュールを提案する。本モジュールは、異なるスケールで小さな探索パッチを用いることで、大規模な動きを効率的に特徴抽出可能とする。このモジュールはさまざまなCNNバックボーンに容易に統合でき、汎化性能も優れている。TSM ResNet-50に導入した場合、NVIDIA Tesla V100 GPU上で約17.6%の追加レイテンシを引き起こすものの、SomethingSomething V1・V2およびDiving-48において最先端の性能を達成している。