相互作用および伝播ネットワークを用いた高速ユーザーガイド動画オブジェクトセグメンテーション

私たちはインタラクティブなビデオオブジェクトセグメンテーションのためのディープラーニング手法を提案します。当手法は、インタラクションとプロパゲーションという2つの核心操作に基づいており、それぞれの操作は畳み込みニューラルネットワーク（Convolutional Neural Networks）によって行われます。これらの2つのネットワークは内部的にも外部的にも接続されており、ネットワークが共同で訓練され、互いに連携して複雑なビデオオブジェクトセグメンテーション問題を解決します。また、インタラクティブなビデオオブジェクトセグメンテーションのために新しいマルチラウンド訓練スキームを提案しています。これにより、ネットワークはユーザーの意図を理解し、訓練中に誤った推定を更新する方法を学習できます。テスト時には、当手法は高品質な結果を生成するとともに、ユーザーとのインタラクティブな作業を行うのに十分速く動作します。DAVIS Challenge 2018のインタラクティブトラックベンチマークにおいて、提案手法を定量的に評価しました。速度と精度の両面で他の競合手法を大幅に上回る結果を得ました。さらに、当手法が実際のユーザーとのインタラクションでも良好に機能することを示しました。