Lindern von Rauschkorrespondenz durch geometrische Strukturkonsistenzlernen

Rauschige Korrespondenzen, die auf Fehlpassungen in multimodalen Datensätzen hinweisen, sind in menschengenerierten oder webgekrochenen Datensammlungen weit verbreitet. Frühere Ansätze zur Nutzung solcher Daten konzentrierten sich hauptsächlich auf das Lernen von rauschigen Labels in unimodalem Kontext, ohne den Einfluss auf die geometrischen Strukturen sowohl zwischen- als auch innerhalb der Modalitäten im multimodalen Lernen zu berücksichtigen. In der Praxis haben wir festgestellt, dass beide Strukturen effektiv zur Diskriminierung rauschiger Korrespondenzen durch strukturelle Unterschiede beitragen können, wenn sie gut etabliert sind. Angeregt durch diese Beobachtung präsentieren wir eine Methode zur Geometrischen Strukturkonsistenz (GSC), um die wahre Korrespondenz zu inferieren. Spezifisch stellt GSC sicher, dass die geometrischen Strukturen sowohl innerhalb als auch zwischen den Modalitäten erhalten bleiben, was es ermöglicht, rauschige Stichproben aufgrund struktureller Unterschiede präzise zu diskriminieren. Durch die Verwendung dieser inferierten wahren Korrespondenzlabels verfeinert GSC das Lernen der geometrischen Strukturen, indem es die rauschigen Stichproben filtert. Experimente mit vier multimodalen Datensätzen bestätigen, dass GSC rauschige Stichproben effektiv identifiziert und die aktuellen führenden Methoden erheblich übertrifft.