Twin-Net-Beschreibung: Zwillings-Negativ-Mining mit Quad-Verlust für patchbasierte Übereinstimmung

Die lokale Keypoint-Übereinstimmung ist ein wesentlicher Schritt für computersehvorgestützte Aufgaben. In den letzten Jahren wurden Strategien basierend auf tiefen konvolutionellen neuronalen Netzen (Deep Convolutional Neural Networks, CNN) eingesetzt, um die Generierung von Deskriptoren zu lernen und die Genauigkeit der Keypoint-Übereinstimmung zu verbessern. Aktuelle state-of-the-art-Ansätze in dieser Richtung stützen sich hauptsächlich auf eine Dreierpaar-basierte Verlustfunktion (und deren Varianten), die drei Samples nutzt: einen Anchor, ein positives und ein negatives Beispiel. In dieser Arbeit stellen wir eine neuartige „Twin Negative Mining“-basierte Sampling-Strategie vor, kombiniert mit einer Quad-Verlustfunktion, um ein tiefes neuronales Netzwerk-Verfahren (Twin-Net) zu trainieren, das einen robusten Deskriptor generiert, der eine erhöhte Unterscheidungskraft zwischen Patchen bietet, die nicht zueinander gehören. Unsere Sampling-Strategie und die Wahl der Verlustfunktion zielen darauf ab, eine obere Schranke zu definieren, sodass die Deskriptoren zweier Patche, die dieselbe räumliche Position repräsentieren, im schlimmsten Fall nicht unähnlicher sein dürfen als die Deskriptoren zweier äußerlich ähnlicher Patche, die nicht dieselbe 3D-Position besitzen. Dies führt zu einer verbesserten Generalisierungsfähigkeit des Netzwerks und ermöglicht eine Überlegenheit gegenüber bestehenden Ansätzen, wenn sie auf denselben Datensätzen trainiert werden. Twin-Net generiert einen 128-dimensionalen Deskriptor und verwendet die L2-Distanz als Ähnlichkeitsmaß, wodurch es mit klassischen Deskriptor-Übereinstimmungspipelines wie beispielsweise SIFT kompatibel ist. Unsere Ergebnisse auf den Datensätzen Brown und HPatches zeigen, dass Twin-Net eine konsistent bessere Leistung sowie eine höhere Unterscheidungs- und Generalisierungsfähigkeit im Vergleich zu den aktuellen state-of-the-art-Verfahren aufweist.