COTR: Korrespondenz-Transformer für die Zuordnung zwischen Bildern

Wir schlagen einen neuen Ansatz vor, um Korrespondenzen in Bildern mithilfe eines tiefen neuronalen Netzes zu finden, das bei gegebenen zwei Bildern und einem Abfragepunkt in einem der Bilder dessen Korrespondenz im anderen Bild ermittelt. Dabei besteht die Möglichkeit, entweder nur die Punkte von Interesse abzufragen und dünn besetzte Korrespondenzen zu erhalten, oder alle Punkte in einem Bild abzufragen und dichte Abbildungen zu erzeugen. Von entscheidender Bedeutung ist, dass unser Modell sowohl lokale als auch globale A-priori-Wissensbestände erfassen soll und dabei die am stärksten relevanten A-priori-Wissensbestände zur Beziehung zwischen Bildbereichen nutzen kann. Dazu implementieren wir unser Netzwerk mit einem Transformer. Bei der Inferenz wenden wir unser Korrespondenznetzwerk durch rekursives Zoomen um die Schätzungen herum an, was einen mehrskaligen Prozess ermöglicht, der hochgenaue Korrespondenzen liefern kann. Unsere Methode übertrifft den Stand der Technik bei sowohl dünn besetzten als auch dichten Korrespondenzproblemen auf mehreren Datensätzen und Aufgaben signifikant, von breitbasierter Stereo-Bildverarbeitung bis hin zu optischem Fluss, ohne dass eine erneute Anpassung für einen spezifischen Datensatz erforderlich ist. Wir verpflichten uns zur Veröffentlichung von Daten, Code und allen Werkzeugen, die notwendig sind, um das Training von Grund auf durchzuführen und Reproduzierbarkeit sicherzustellen.