ReMOTS: 自教師学習による多目的追跡とセグメンテーションの精度向上

私たちは、Multiple Object Tracking and Segmentation（MOTS）の性能を改良することを目指しています。しかし、MOTSの結果を改良することは依然として困難であり、これは外観特徴が対象動画に適応していないことや、それらを区別する適切な閾値を見つけるのが難しいことに起因すると考えられます。この課題に対処するために、自己監督型のMOTS改良フレームワーク（ReMOTS）を提案します。ReMOTSは、データ関連付けの観点からMOTSの結果を改良するために主に4つのステップを取ります。予測されたマスクを使用して外観エンコーダーを学習します。隣接するフレーム間で観測値を関連付け、短期トラックレットを作成します。短期トラックレットを信頼できる疑似ラベルとして使用して、外観エンコーダーを再学習します。自動的に統計情報から得られた閾値と適応した外観特徴を使用して、短期トラックレットを長期トラックレットに結合します。ReMOTSを使用することで、CVPR 2020 MOTSチャレンジ1において1位となり、sMOTSAスコアは69.9でした。