静止画から学習する動画オブジェクトセグメンテーション

最近の深層学習におけるインスタンスセグメンテーションとオブジェクトトラッキングの進歩に着想を得て、ビデオオブジェクトセグメンテーション問題をガイデッドインスタンスセグメンテーションの概念として導入します。当モデルはフレームごとに処理を進め、前フレームの出力を基に次のフレームでの対象物体へと誘導されます。静止画のみで訓練された畳み込みニューラルネットワーク（ConvNet）を使用することで、ビデオ内の高精度な物体セグメンテーションが可能であることを示しています。当アプローチの重要な要素は、オフライン学習戦略とオンライン学習戦略の組み合わせです。前者は前フレームの推定結果から洗練されたマスクを生成するために使用され、後者は特定の物体インスタンスの外観を捉えるために用いられます。当手法は異なる種類の入力アノテーション（バウンディングボックスとセグメント）に対応でき、複数のアノテーション済みフレームを取り込むことも可能です。これによりシステムは多様なアプリケーションに適しています。当手法は3つの異なるデータセットにおいて競争力のある結果を達成しており、入力アノテーションの種類に関わらず良好な性能を発揮します。