追跡対象と類似度が高いために混乱を引き起こす物体の存在は、外観ベースの視覚追跡において根本的な課題をもたらす。このような干渉物体（distractor）は、追跡対象と誤認されやすく、結果として追跡の失敗を引き起こす。多くの既存手法は、より強力な外観モデルを用いて干渉物体を抑制することを目指しているが、本研究では代替的なアプローチを提案する。我々は、干渉物体を追跡し続けることで、本来の追跡対象の追跡を継続する戦略を採用する。この目的のため、フレーム間ですべての対象候補の識別子（identity）を伝搬できるように、学習可能な関連性ネットワークを導入する。視覚追跡における干渉物体間の真値対応（ground-truth correspondences）が欠如している問題に対処するため、部分的なアノテーションと自己教師学習（self-supervision）を組み合わせた訓練戦略を提案する。複数の困難なデータセットを用いた包括的な実験と分析を通じて、本手法の有効性を検証した。その結果、6つのベンチマークにおいて新たな最先端（state-of-the-art）性能を達成し、LaSOTデータセットではAUCスコア67.1％を記録し、OxUvA長期追跡データセットでは+5.8％の絶対的向上を達成した。