Know Your Surroundings: Die Ausnutzung von Szeneninformationen für die Objektverfolgung

Aktuelle State-of-the-Art-Tracker basieren ausschließlich auf einem Ziel-Appearance-Modell, um das Objekt in jedem Frame zu lokalisieren. Solche Ansätze sind jedoch anfällig für Ausfälle bei schnellen Änderungen der Erscheinung oder bei Vorhandensein von Ablenkobjekten, wo ein reines Ziel-Appearance-Modell nicht ausreicht, um eine robuste Verfolgung zu gewährleisten. Das Wissen über die Anwesenheit und Positionen anderer Objekte in der Umgebung kann in solchen Fällen äußerst vorteilhaft sein. Diese Szeneninformation kann über die Sequenz hinweg propagiert und beispielsweise genutzt werden, um explizit Ablenkobjekte zu vermeiden und Kandidatenregionen für das Ziel zu eliminieren.In dieser Arbeit präsentieren wir eine neuartige Tracking-Architektur, die Szeneninformationen zur Objektverfolgung nutzen kann. Unser Tracker stellt diese Information als dichte, lokalisierte Zustandsvektoren dar, die beispielsweise kodieren können, ob ein lokaler Bereich zum Ziel, zur Hintergrundumgebung oder zu einem Ablenkobjekt gehört. Diese Zustandsvektoren werden über die Sequenz hinweg propagiert und mit dem Ausgang des Appearance-Modells kombiniert, um das Ziel zu lokalisieren. Unser Netzwerk wird durch direkte Maximierung der Tracking-Leistung auf Videosegmenten darauf trainiert, die Szeneninformation effektiv zu nutzen. Der vorgeschlagene Ansatz erreicht eine neue State-of-the-Art-Leistung auf drei Tracking-Benchmarks und erzielt auf dem jüngsten GOT-10k-Datensatz einen AO-Score von 63,6 %.