Tracking entsteht durch die Kolorierung von Videos

Wir nutzen große Mengen an nicht gekennzeichneten Videos, um Modelle für visuelle Verfolgung ohne manuelle menschliche Überwachung zu lernen. Wir nutzen die natürliche zeitliche Kohärenz von Farben, um ein Modell zu erstellen, das lernt, Graustufen-Videos durch Kopieren von Farben aus einem Referenzrahmen zu färben. Quantitative und qualitative Experimente deuten darauf hin, dass diese Aufgabe das Modell dazu bringt, automatisch visuelle Bereiche zu verfolgen. Obwohl das Modell ohne jede Ground-Truth-Kennzeichnung trainiert wird, übertrifft unsere Methode die neuesten Methoden auf Basis des optischen Flusses in der Verfolgungsleistung. Darüber hinaus weisen unsere Ergebnisse darauf hin, dass Fehlschläge bei der Verfolgung mit Fehlschlägen bei der Färbung korreliert sind, was darauf schließen lässt, dass Fortschritte in der Video-Färbung die selbstüberwachte visuelle Verfolgung weiter verbessern könnten.