Lokale Ähnlichkeitsbewusste Tiefes Merkmals-Embedding

Bestehende Methoden zur tiefen Einbettung in visuellen Aufgaben sind in der Lage, aus Bildern einen kompakten euklidischen Raum zu lernen, bei dem die euklidischen Abstände einem Ähnlichkeitsmaß entsprechen. Um das Lernen effektiver und effizienter zu gestalten, wird häufig schwierige Stichprobenauswahl (hard sample mining) angewendet, wobei die Stichproben durch Berechnung des euklidischen Merkmalsabstands identifiziert werden. Allerdings kann der globale euklidische Abstand in einem komplexen visuellen Merkmalsraum die wahre Merkmalsähnlichkeit nicht treu charakterisieren, da der innerklassliche Abstand in einer hochdichten Region größer sein kann als der zwischenklassliche Abstand in niedrigdichten Regionen. In dieser Arbeit stellen wir eine positionabhängige tiefmetrische Einheit (Position-Dependent Deep Metric, PDDM) vor, die fähig ist, ein Ähnlichkeitsmaß anzupassen, das sich an die lokale Merkmalsstruktur anpasst. Dieses Maß kann verwendet werden, um tatsächlich schwierige Stichproben in der lokalen Nachbarschaft auszuwählen, um das Lernen der tiefen Einbettung online und robust zu leiten. Die neue Schicht ist attraktiv, da sie in jedes Faltungsnetzwerk integriert werden kann und end-to-end trainiert wird. Unsere lokal-ähnlichkeitsbewusste Merkmalseinbettung zeigt nicht nur eine schnellere Konvergenz und verbesserte Leistung auf zwei komplexen Bildsuchdatensätzen; ihre Eigenschaft mit großem Abstand führt auch zu überlegenen Generalisierungsergebnissen unter den Bedingungen großer und offener Mengen beim Transfer Learning und Zero-Shot Learning auf den Datensätzen ImageNet 2010 und ImageNet-10K.