Lernen von intra-batch-Verbindungen für tiefes Metrik-Lernen

Das Ziel der Metrik-Lernens besteht darin, eine Funktion zu erlernen, die Muster in einen niedrigdimensionalen Raum abbildet, in dem ähnliche Muster näher beieinander liegen als unähnliche. Insbesondere nutzt das tiefe Metrik-Lernen neuronale Netze, um eine solche Abbildung zu lernen. Die meisten Ansätze basieren auf Verlustfunktionen, die lediglich die Beziehungen zwischen Paaren oder Tripletts von Mustern berücksichtigen, die entweder der gleichen Klasse angehören oder zwei verschiedenen Klassen zuzuordnen sind. Diese Methoden erkunden jedoch den Embedding-Raum nicht vollständig. Um dies zu adressieren, schlagen wir einen Ansatz basierend auf Nachrichtenübertragungsnetzwerken vor, der sämtliche Beziehungen innerhalb eines Mini-Batches berücksichtigt. Wir verfeinern die Embedding-Vektoren durch den Austausch von Nachrichten zwischen allen Mustern eines gegebenen Batches, wodurch der Trainingsprozess über die globale Struktur des Datensatzes informiert wird. Da nicht alle Muster gleich wichtig für die Vorhersage einer Entscheidungsgrenze sind, verwenden wir während des Nachrichtenaustauschs eine Aufmerksamkeitsmechanik, um den Muster die Möglichkeit zu geben, die Bedeutung jedes Nachbarn entsprechend zu gewichten. Wir erzielen state-of-the-art-Ergebnisse bei Clustering und Bildretrieval auf den Datensätzen CUB-200-2011, Cars196, Stanford Online Products und In-Shop Clothes. Um weitere Forschung zu erleichtern, stellen wir den Quellcode und die Modelle unter https://github.com/dvl-tum/intra_batch_connections zur Verfügung.