本稿では、色表現に基づくモデルフリーなオンラインオブジェクト追跡の問題に取り組む。最近のベンチマーク評価の結果によれば、このような追跡手法は、注目オブジェクトと類似した外観を示す領域へとドリフトする傾向がある。この制限を克服するために、本研究では事前に注目すべきでない領域（干渉領域）を識別できる効率的な判別型オブジェクトモデルを提案する。さらに、この知識を活用して、干渉要因を抑えるようにオブジェクト表現を事前に適応させる。これにより、ドリフトのリスクが著しく低減される。本手法は最新のオンライン追跡ベンチマークデータセット上で評価され、最先端の性能を示した。特に、精度およびロバスト性の面で、近年の追跡アルゴリズムと比較しても優れた結果を達成している。また、提案手法は効率的な実装が可能であり、リアルタイムでのオンラインオブジェクト追跡を実現できる。