HyperAIHyperAI
vor 2 Monaten

Tiefes Matching Prior: Optimierung zur Testzeit für dichte Korrespondenz

Hong, Sunghwan ; Kim, Seungryong
Tiefes Matching Prior: Optimierung zur Testzeit für dichte Korrespondenz
Abstract

Herkömmliche Techniken zur Etablierung dichter Korrespondenzen zwischen visuell oder semantisch ähnlichen Bildern konzentrierten sich auf das Design eines aufgabenbezogenen Matching-Priors, der schwierig zu modellieren ist. Um dieses Problem zu überwinden, haben sich neuere lernbasierte Methoden bemüht, einen guten Matching-Prior innerhalb eines Modells selbst anhand großer Trainingsdatensätze zu erlernen. Die Leistungsverbesserung war offensichtlich, aber die Notwendigkeit ausreichender Trainingsdaten und intensiver Lernprozesse behindert ihre Anwendbarkeit. Darüber hinaus berücksichtigt die Verwendung des festgelegten Modells zur Testzeit nicht den Umstand, dass ein Paar von Bildern möglicherweise seinen eigenen Prior benötigt, wodurch die Leistung begrenzt ist und eine schlechte Generalisierung auf unbekannte Bilder vorliegt.In dieser Arbeit zeigen wir, dass ein bildpaarspezifischer Prior allein durch die Optimierung untrainierter Matching-Netze auf einem Eingabepaar von Bildern erfasst werden kann. Für diese Testzeitoptimierung für dichte Korrespondenz präsentieren wir ein Residual-Matching-Netzwerk und einen konfidenzbewussten Kontrastverlust (confidence-aware contrastive loss), um eine sinnvolle Konvergenz sicherzustellen. Experimente demonstrieren, dass unser Framework, als Deep Matching Prior (DMP) bezeichnet, wettbewerbsfähig oder sogar überlegen den neuesten lernbasierten Methoden in mehreren Benchmarks für geometrisches Matching und semantisches Matching ist, obwohl es weder große Trainingsdaten noch intensives Lernen erfordert. Mit vortrainierten Netzen erreicht DMP den aktuellen Stand der Technik in allen Benchmarks.