MDFlow: Unsupervised Optical Flow Learning durch zuverlässige wechselseitige Wissensdistillation

Neuere Arbeiten haben gezeigt, dass optischer Fluss durch tiefe Netzwerke aus unlabeled Bildpaaren unter Verwendung der Helligkeitskonstanzannahme und eines Glättungspräferenzansatzes gelernt werden kann. Aktuelle Ansätze setzen zudem einen Erweiterungsregularisierungsterm zur kontinuierlichen selbstüberwachten Lernung hinzu, der sich in schwierigen Übereinstimmungsregionen als wirksam erwiesen hat. Allerdings verstärkt diese Methode auch die unvermeidlichen Fehlzuordnungen im unsupervisierten Setting und behindert so den Lernprozess auf dem Weg zur optimalen Lösung. Um dieses Dilemma zu überwinden, schlagen wir einen neuartigen gegenseitigen Distanzierungsraster (mutual distillation framework) vor, der verlässliches Wissen kontinuierlich zwischen Lehrer- und Schülernetzwerk hin- und herüberträgt, um eine alternierende Verbesserung zu ermöglichen. Konkret nutzen wir die Schätzung eines etablierten unsupervisierten Ansatzes als Pseudolabels, wobei unser zentrales Konzept in der Definition eines Vertrauensauswahlmechanismus besteht, um qualitativ gute Übereinstimmungen zu extrahieren. Anschließend wird vielfältige Daten-Augmentation eingesetzt, um umfassendes und zuverlässiges Wissen vom Lehrer auf den Schüler zu übertragen. Aufgrund der entkoppelten Struktur unseres Ansatzes können wir eine leistungsstärkere Architektur für den Schüler wählen, um eine ausreichende Lernleistung zu gewährleisten. Schließlich wird die verbesserte Vorhersage des Schülers genutzt, um Wissen zurück zum effizienten Lehrer zu übertragen, ohne zusätzliche Kosten bei der praktischen Implementierung zu verursachen. Anstatt das Problem als überwachtes Lernproblem zu formulieren, stellen wir fest, dass die Einführung eines zusätzlichen unsupervisierten Terms für das mehrzielige Lernen die besten Endergebnisse liefert. Umfangreiche Experimente zeigen, dass unser Ansatz, MDFlow genannt, auf anspruchsvollen Benchmarks die derzeit beste Echtzeitgenauigkeit und Verallgemeinerungsfähigkeit erreicht. Der Quellcode ist unter https://github.com/ltkong218/MDFlow verfügbar.