教師なし動画オブジェクトセグメンテーションにおけるCRFを用いた識別的特徴学習

本稿では、教師なし動画オブジェクトセグメンテーションタスクに対応するため、新たなネットワークである判別的特徴ネットワーク（Discriminative Feature Network, DFNet）を提案する。動画フレーム間の内在的な相関関係を捉えるために、入力画像からグローバルな視点から特徴分布を明らかにする判別的特徴（D-features）を学習する。得られたD-featuresは、条件付き確率場（Conditional Random Field, CRF）の枠組み下でテスト画像のすべての特徴と対応付けられ、ピクセル間の一貫性を強制するために利用される。実験結果から、DFNetは最先端手法を大きく上回り、DAVIS-2016のリーダーボードで平均IoUスコア83.4％を達成し、首位にランクインした。また、パラメータ数が大幅に少なく、推論フェーズにおいても極めて効率的な性能を発揮していることが確認された。さらに、FBMSデータセットおよび動画サリエンシー（video saliency）データセットViSalにおいてもDFNetを評価した結果、新たな最先端性能を達成した。本フレームワークの汎用性をさらに示すために、DFNetを画像オブジェクト共同セグメンテーションタスクにも適用した。挑戦的なPASCAL-VOCデータセット上で実験を行い、DFNetの優位性が確認された。包括的な実験により、DFNetが画像間の潜在的な関係を捉え、抽出できること、共通の前景オブジェクトを発見できることを実証した。