Harte negative Beispiele sind schwierig, aber nützlich

Die Triplet-Loss ist ein äußerst verbreiteter Ansatz für die Lernung von Distanzmetriken. Darstellungen von Bildern derselben Klasse werden so optimiert, dass sie im Embedding-Raum enger beieinander liegen als Darstellungen von Bildern unterschiedlicher Klassen. Viele Arbeiten zu Triplet-Loss-Funktionen konzentrieren sich auf die Auswahl der aussagekräftigsten Tripel von Bildern, wobei Strategien eingesetzt werden, die entweder semantisch dissimilare Beispiele derselben Klasse oder semantisch ähnliche Beispiele unterschiedlicher Klassen auswählen. Die vorherrschende Meinung in der vorangegangenen Forschung besagt, dass die Optimierung mit den schwersten (hardest) negativen Beispielen zu schlechtem Trainingsverhalten führt. Dies stellt ein Problem dar – die schwersten Negativen sind gerade die Fälle, in denen die Distanzmetrik die semantische Ähnlichkeit nicht korrekt erfasst. In diesem Paper charakterisieren wir den Raum der Tripel und leiten ab, warum schwere Negative das Training mit Triplet-Loss zum Scheitern bringen. Wir präsentieren eine einfache Korrektur der Verlustfunktion und zeigen, dass sich mit dieser Korrektur die Optimierung mit schweren negativen Beispielen als durchführbar erweist. Dies führt zu allgemeineren, besser übertragbaren Merkmalen und Ergebnissen im Bildretrieval, die die State-of-the-Art-Leistung für Datensätze mit hoher intra-klassischer Variabilität übersteigen.