Integrierte Merkmals- und Kostenaggregation mit Transformatoren für dichte Korrespondenz

Wir präsentieren eine neuartige Architektur für dichte Korrespondenz. Der aktuelle Stand der Technik umfasst transformerbasierte Ansätze, die sich entweder auf Merkmalsdeskriptoren oder auf die Aggregation von Kostenvolumen konzentrieren. Allerdings aggregieren sie in der Regel das eine oder das andere, aber nicht beides, obwohl eine gemeinsame Aggregation durch die Bereitstellung von Informationen, die der eine hat und der andere fehlt, z.B. strukturelle oder semantische Informationen eines Bildes oder pixelweise Matching-Ähnlichkeit, gegenseitig stärken würde. In dieser Arbeit schlagen wir ein neuartiges transformerbasiertes Netzwerk vor, das beide Formen der Aggregation so verflochten gestaltet, dass ihre komplementären Informationen genutzt werden. Insbesondere entwickeln wir eine Selbst-Aufmerksamkeits-Schicht (self-attention layer), die den Deskriptor verwendet, um das rauschige Kostenvolumen zu entmischen (disambiguate the noisy cost volume) und gleichzeitig das Kostenvolumen nutzt, um Merkmale in einer Weise zu aggregieren, die präzises Matching fördert. Eine nachfolgende Kreuz-Aufmerksamkeits-Schicht (cross-attention layer) führt eine weitere Aggregation durch, die auf den Deskriptoren beider Bilder konditioniert ist und durch die aggregierten Ausgaben früherer Schichten unterstützt wird. Wir verbessern außerdem die Leistung durch hierarchische Verarbeitung, bei der grobere Aggregationsebenen jenen auf feineren Ebenen Vorgaben machen. Die Effektivität des vorgeschlagenen Verfahrens bewerten wir anhand von dichten Matching-Aufgaben und erzielen dabei den aktuellen Stand der Technik auf allen wichtigen Benchmarks. Um unsere Designentscheidungen zu validieren, liefern wir auch umfangreiche Abstraktionsstudien (ablation studies).