Command Palette
Search for a command to run...
Lindern von Rauschkorrespondenz durch geometrische Strukturkonsistenzlernen
Lindern von Rauschkorrespondenz durch geometrische Strukturkonsistenzlernen
Zihua Zhao Mengxi Chen Tianjie Dai Jiangchao Yao Bo Han Ya Zhang Yanfeng Wang
Zusammenfassung
Rauschige Korrespondenzen, die auf Fehlpassungen in multimodalen Datensätzen hinweisen, sind in menschengenerierten oder webgekrochenen Datensammlungen weit verbreitet. Frühere Ansätze zur Nutzung solcher Daten konzentrierten sich hauptsächlich auf das Lernen von rauschigen Labels in unimodalem Kontext, ohne den Einfluss auf die geometrischen Strukturen sowohl zwischen- als auch innerhalb der Modalitäten im multimodalen Lernen zu berücksichtigen. In der Praxis haben wir festgestellt, dass beide Strukturen effektiv zur Diskriminierung rauschiger Korrespondenzen durch strukturelle Unterschiede beitragen können, wenn sie gut etabliert sind. Angeregt durch diese Beobachtung präsentieren wir eine Methode zur Geometrischen Strukturkonsistenz (GSC), um die wahre Korrespondenz zu inferieren. Spezifisch stellt GSC sicher, dass die geometrischen Strukturen sowohl innerhalb als auch zwischen den Modalitäten erhalten bleiben, was es ermöglicht, rauschige Stichproben aufgrund struktureller Unterschiede präzise zu diskriminieren. Durch die Verwendung dieser inferierten wahren Korrespondenzlabels verfeinert GSC das Lernen der geometrischen Strukturen, indem es die rauschigen Stichproben filtert. Experimente mit vier multimodalen Datensätzen bestätigen, dass GSC rauschige Stichproben effektiv identifiziert und die aktuellen führenden Methoden erheblich übertrifft.