Teilweise ansichtsorientierte Darstellungslernung mit geräuschrobuster kontrastiver Verlustfunktion

In real-world Anwendungen ist es üblich, dass nur ein Teil der Daten zwischen den Ansichten ausgerichtet ist, was auf räumliche, zeitliche oder raumzeitliche Asynchronität zurückzuführen ist und somit das sogenannte Problem der partiellen Ansichtsausrichtung (Partially View-aligned Problem, PVP) verursacht. Um dieses bisher wenig beachtete Problem ohne die Verwendung von Labels zu lösen, schlagen wir eine gleichzeitige Lernung von Darstellungen und Datenausrichtung mittels einer rauschrobusten kontrastiven Verlustfunktion vor. Kurz gesagt zielt unsere Methode dafür, dass für jedes Beispiel aus einer Ansicht seine innerhalb der Kategorie befindlichen Entsprechungen aus anderen Ansichten identifiziert werden, sodass eine Kreuz-Ansichts-Zuordnung hergestellt werden kann. Da kontrastives Lernen Dateneingaben in Form von Paaren erfordert, konstruieren wir positive Paare auf Basis der bekannten Korrespondenzen und negative Paare durch zufällige Stichprobenziehung. Um den Einfluss von falschen negativen Paaren, die durch die zufällige Stichprobenziehung entstehen können, zu verringern oder sogar zu eliminieren, schlagen wir eine rauschrobuste kontrastive Verlustfunktion vor, die adaptiv verhindert, dass die falschen negativen Paare die Netzwerkoptimierung dominieren. Im Gegensatz zum Hungarian-Algorithmus und seinen Varianten strebt unsere Lösung zur Bewältigung des PVP eine Kategorie- statt einer Instanz-Ebene-Ausrichtung an. Aufgrund der höheren Zugänglichkeit und Skalierbarkeit der Kategorie-Ebene-Ausrichtung ist sie besonders geeignet für Aufgaben wie Clustering und Klassifikation. Zudem ist, soweit uns bekannt, dieser Ansatz der erste erfolgreiche Versuch, kontrastives Lernen robuster gegenüber verrauschten Labels zu gestalten. Umfangreiche Experimente zeigen die vielversprechende Leistung unserer Methode im Vergleich zu zehn state-of-the-art Ansätzen für mehransichtige Daten in Clustering- und Klassifikationsaufgaben.