階層的メモリマッチングネットワークを用いた動画オブジェクトセグメンテーション

我々は、半教師付き動画オブジェクトセグメンテーションのための階層的メモリマッチングネットワーク（Hierarchical Memory Matching Network; HMMN）を提案する。最近のメモリベース手法[33]を基盤とし、時間的滑らかさを活用しつつ複数スケールでのメモリ読み取りを可能にする2つの高度なメモリ読み取りモジュールを導入した。まず、従来のメモリベース手法で一般的に採用されている非局所的密集なメモリ読み取りを置き換える「カーネル誘導型メモリマッチングモジュール」を提案する。このモジュールはメモリ読み取り段階で時間的滑らかさを制約することで、高精度なメモリ検索を実現する。さらに、階層的メモリマッチングスキームを導入し、「top-k誘導型メモリマッチングモジュール」を提案する。このモジュールにより、粗いスケールでのメモリ読み取りが細かいスケールでの読み取りを誘導し、複数スケールでの効率的なメモリ読み取りが可能となる。これにより、高レベルの意味特徴と低レベルの細粒度特徴を併用して、詳細なオブジェクトマスクを予測することができる。本ネットワークはDAVIS 2016/2017の検証セット（90.8%および84.7%）、YouTube-VOS 2018/2019の検証セット（82.6%および82.5%）、およびDAVIS 2017のテスト開発セット（78.6%）において、最先端の性能を達成した。ソースコードおよびモデルはオンラインで公開されている：https://github.com/Hongje/HMMN。