Zurechenbare visuelle Ähnlichkeitslernens

Diese Arbeit stellt einen zurechenbaren visuellen Ähnlichkeitslernansatz (Attributable Visual Similarity Learning, AVSL) vor, um eine genauere und erklärbare Ähnlichkeitsmessung zwischen Bildern zu ermöglichen. Die meisten bestehenden Methoden zum Ähnlichkeitslernen verschärfen die Unklarheit der Entscheidungsfindung, indem sie jedes Beispiel in den Embedding-Raum durch einen einzigen Punkt abbilden und eine Distanzmetrik (z. B. Mahalanobis-Distanz, euklidische Distanz) verwenden. Ausgehend von der menschlichen semantischen Wahrnehmung von Ähnlichkeit schlagen wir ein verallgemeinertes Ähnlichkeitslernparadigma vor, bei dem die Ähnlichkeit zwischen zwei Bildern mittels eines Graphen repräsentiert und die Gesamtähnlichkeit hieraus abgeleitet wird. Darüber hinaus etablieren wir einen bottom-up-basierten Aufbau der Ähnlichkeit und einen top-down-basierten Inferenzansatz, um die Ähnlichkeit auf der Grundlage der Konsistenz der semantischen Hierarchie zu inferieren. Zunächst identifizieren wir unzuverlässige Ähnlichkeitsknoten auf höherer Ebene und korrigieren diese unter Verwendung der kohärentesten benachbarten Knoten auf niedrigerer Ebene, wodurch gleichzeitig Hinweise für die Ähnlichkeitszuschreibung erhalten bleiben. Umfangreiche Experimente an den Datensätzen CUB-200-2011, Cars196 und Stanford Online Products zeigen signifikante Verbesserungen gegenüber bestehenden tiefen Ähnlichkeitslernmethoden und bestätigen die Erklärbarkeit unseres Ansatzes. Der Quellcode ist unter https://github.com/zbr17/AVSL verfügbar.