マスクドイベントモデリング：イベントカメラ向けの自己教師付き事前学習

イベントカメラは、低遅延、高時間分解能、広いダイナミックレンジで明るさの変化を非同期に捉えることができる。しかし、イベントデータのラベル付けは費用がかかり、作業が煩雑であるため、深層学習を用いた分類やその他の意味解析タスクにイベントモダリティを活用するのを制限している。ラベル付きイベントデータへの依存を低減するために、本研究ではイベントデータ向けの自己教師付き枠組み「マスクイベントモデリング（Masked Event Modeling, MEM）」を提案する。本手法は、任意のイベントカメラで記録されたラベルなしイベントデータ上でニューラルネットワークを事前学習する。その後、下流タスクにおいてその事前学習モデルを微調整することで、タスクの精度が一貫して向上する。例えば、N-ImageNet、N-Cars、N-Caltech101の3つのデータセットにおいて、MEMは最先端の分類精度を達成し、従来手法と比較してトップ1精度を大幅に向上させた。実世界のイベントデータ上で評価した結果、MEMは教師ありRGBベースの事前学習よりも優れた性能を発揮した。また、MEMで事前学習されたモデルはラベル効率が高く、セマンティック画像セグメンテーションのような高密度タスクへの汎化性能も優れている。