17日前

類推による学習:変換から得られる信頼性のある教師信号を用いた教師なしオプティカルフロー推定

Liang Liu, Jiangning Zhang, Ruifei He, Yong Liu, Yabiao Wang, Ying Tai, Donghao Luo, Chengjie Wang, Jilin Li, Feiyue Huang
類推による学習:変換から得られる信頼性のある教師信号を用いた教師なしオプティカルフロー推定
要約

視覚合成からの自己監督を活用する非教師あり光流学習は、教師あり手法に対する有望な代替手段として注目されている。しかし、困難なシーンでは非教師あり学習の目的関数が信頼性を欠く可能性がある。本研究では、変換からのより信頼性の高い監督を活用するフレームワークを提案する。この手法は、通常の非教師あり学習パイプラインを単純に拡張し、データオーギュメンテーションから得られる変換済みデータを用いて別途前方伝搬を実行するとともに、元データの予測結果を変換したものを自己監督信号として用いる。さらに、複数フレームを扱う軽量なネットワーク構造を導入し、高度に共有された光流デコーダーを採用している。本手法は、複数のベンチマークにおいて一貫して性能の飛躍を達成し、深層非教師あり学習手法の中で最高の精度を記録した。また、パラメータ数を大幅に削減しつつ、最新の完全教師あり手法と同等の性能を達成している。