エゴセントリックビジョンのスケーリング再調整

本論文では、エゴセントリックビジョン分野で最大規模のデータセットであるEPIC-KITCHENSを拡張するためのパイプラインを紹介する。この取り組みの成果として、ヘッドマウント型カメラを用いて45の異なる環境で撮影された長時間にわたる自然な行動を捉えた、700本の可変長動画から構成されるEPIC-KITCHENS-100が提案される。EPIC-KITCHENS-100は、合計100時間、2,000万フレーム、9万件の行動を含み、従来のバージョンと比較して、新たなパイプラインによりより高密度（1分あたりの行動数が54%増加）かつより完全な細粒度行動のラベル付け（行動セグメントが+128%増加）が可能となった。このデータセットにより、行動検出や「時間の試験（test of time）」——2018年に収集されたデータで学習したモデルが、2年後に新たに収集された映像に対して一般化できるか——といった新たな課題が可能となる。本データセットは、6つの主要な課題と整合している：行動認識（完全監督および弱監督）、行動検出、行動予測、キャプションからのクロスモーダル検索、および行動認識における非教師ありドメイン適応。各課題について、明確なタスク定義、ベースライン手法、評価指標を提供している。