インタラクティブオブジェクトセグメンテーションにおける修正からの学習を用いた連続適応

インタラクティブオブジェクトセグメンテーションでは、ユーザーがコンピュータビジョンモデルと協働してオブジェクトをセグメンテーションする。近年の研究では、畳み込みニューラルネットワーク（CNN）がこのタスクに用いられている。画像とユーザーによる修正情報（補正）を入力として与えると、モデルはセグメンテーションマスクを出力する。これらのアプローチは、大規模なデータセット上で学習することで高い性能を達成しているが、テスト時にはモデルパラメータを固定したままにしている。一方、本研究ではユーザーによる補正が疎な学習例として機能しうることに着目し、実際のデータに応じてモデルパラメータをリアルタイムで更新する手法を提案する。本手法により、特定のオブジェクトおよびその背景への適応、テストデータにおける分布の変化への対応、特定のオブジェクトクラスへの特化、さらにはトレーニングとテストの間に画像モダリティが大きく変化するようなドメイン変化に対しても、柔軟な適応が可能となる。8種類の多様なデータセットを用いた広範な実験の結果、パラメータが固定されたモデルと比較して、本手法は以下の効果を示した：（i）トレーニングとテスト間の分布シフトが小さい場合、必要な補正回数を9%～30%削減；（ii）特定クラスへの特化においては12%～44%削減；（iii）トレーニングとテストでドメインを完全に変更した場合、それぞれ60%および77%の補正回数削減を達成した。