NeighborTrack: Verbesserung der Einzelobjektverfolgung durch bipartites Matching mit Nachbar-Tracklets

Wir schlagen einen Post-Prozessor vor, der als NeighborTrack bezeichnet wird und Nachbarinformationen des Verfolgungsziels nutzt, um die Validierung und Verbesserung von Ergebnissen des Einzelobjektverfolgens (Single-Object Tracking, SOT) zu ermöglichen. Er erfordert keine zusätzlichen Daten oder erneutes Training. Stattdessen verwendet er den durch das Basis-SOT-Netzwerk vorhergesagten Konfidenzwert, um Nachbarinformationen automatisch abzuleiten und diese dann zur Verbesserung der Verfolgungsergebnisse zu nutzen. Bei der Verfolgung eines überdeckten Ziels sind dessen Erscheinungsmerkmale nicht vertrauenswürdig. Allerdings kann ein allgemeines Siameses Netzwerk allein auf Grundlage des Konfidenzwerts oft nicht erkennen, ob das verfolgte Objekt überdeckt ist, da es durch Nachbarn mit hohen Konfidenzwerten irreführt werden könnte. Unser vorgeschlagener NeighborTrack nutzt die Informationen von nicht überdeckten Nachbarn, um das Verfolgungsziel neu zu bestätigen und reduziert Fehlverfolgungen, wenn das Ziel überdeckt ist. Er mindert nicht nur die Auswirkungen von Überdeckungen, sondern löst auch Verfolgungsprobleme aufgrund von Änderungen im Objektauftritt. NeighborTrack ist unabhängig von SOT-Netzwerken und Post-Verarbeitungsmethoden. Für den VOT-Challenge-Datensatz, der häufig für kurzfristige Objektverfolgung verwendet wird, verbessern wir drei bekannte SOT-Netzwerke – Ocean, TransT und OSTrack – im Durchschnitt um ${1{,}92\%}$ EAO (Expected Average Overlap) und ${2{,}11\%}$ Robustheit. Bei den Experimenten zur mittel- und langfristigen Verfolgung basierend auf OSTrack erreichen wir einen Stand der Technik von ${72{,}25\%}$ AUC (Area Under Curve) auf LaSOT und ${75{,}7\%}$ AO (Accuracy) auf GOT-10K. Der Quellcode kann unter https://github.com/franktpmvu/NeighborTrack eingesehen werden.