Quasi-Dichte Ähnlichkeitslernen für die Verfolgung mehrerer Objekte

Die Ähnlichkeitslernen (Similarity Learning) wird als entscheidender Schritt für die Objektverfolgung anerkannt. Bestehende Methoden zur Verfolgung mehrerer Objekte verwenden jedoch nur eine spärliche Zuordnung der Ground-Truth als Trainingsziel und ignorieren dabei die Mehrheit der informativen Bereiche in den Bildern. In dieser Arbeit stellen wir das Quasi-Dichte Ähnlichkeitslernen (Quasi-Dense Similarity Learning) vor, bei dem Hunderte von Regionenvorschlägen auf einem Paar von Bildern dicht abgetastet werden, um ein kontrastives Lernen durchzuführen. Dieses Ähnlichkeitslernen kann direkt mit bestehenden Detektionsmethoden kombiniert werden, um Quasi-Dichte Verfolgung (Quasi-Dense Tracking, QDTrack) zu implementieren, ohne auf Verschiebungsregression oder Bewegungsprioris zurückzugreifen. Wir haben außerdem festgestellt, dass der resultierende charakteristische Merkmalsraum während der Inferenzzeit eine einfache Suche des nächsten Nachbarn zulässt. Trotz seiner Einfachheit übertrifft QDTrack alle existierenden Methoden auf den Benchmarks für MOT, BDD100K, Waymo und TAO. Es erreicht einen MOTA-Wert von 68,7 bei einer Bildrate von 20,3 FPS auf MOT17 ohne externe Trainingsdaten zu verwenden. Im Vergleich zu Methoden mit ähnlichen Detektoren verbessert es fast 10 Punkte MOTA und reduziert die Anzahl der ID-Umschaltungen auf den Datensätzen BDD100K und Waymo erheblich. Unser Code und die trainierten Modelle sind unter http://vis.xyz/pub/qdtrack verfügbar.