HyperAIHyperAI

Command Palette

Search for a command to run...

Lindern von Rauschkorrespondenz durch geometrische Strukturkonsistenzlernen

Zihua Zhao Mengxi Chen Tianjie Dai Jiangchao Yao Bo Han Ya Zhang Yanfeng Wang

Zusammenfassung

Rauschige Korrespondenzen, die auf Fehlpassungen in multimodalen Datensätzen hinweisen, sind in menschengenerierten oder webgekrochenen Datensammlungen weit verbreitet. Frühere Ansätze zur Nutzung solcher Daten konzentrierten sich hauptsächlich auf das Lernen von rauschigen Labels in unimodalem Kontext, ohne den Einfluss auf die geometrischen Strukturen sowohl zwischen- als auch innerhalb der Modalitäten im multimodalen Lernen zu berücksichtigen. In der Praxis haben wir festgestellt, dass beide Strukturen effektiv zur Diskriminierung rauschiger Korrespondenzen durch strukturelle Unterschiede beitragen können, wenn sie gut etabliert sind. Angeregt durch diese Beobachtung präsentieren wir eine Methode zur Geometrischen Strukturkonsistenz (GSC), um die wahre Korrespondenz zu inferieren. Spezifisch stellt GSC sicher, dass die geometrischen Strukturen sowohl innerhalb als auch zwischen den Modalitäten erhalten bleiben, was es ermöglicht, rauschige Stichproben aufgrund struktureller Unterschiede präzise zu diskriminieren. Durch die Verwendung dieser inferierten wahren Korrespondenzlabels verfeinert GSC das Lernen der geometrischen Strukturen, indem es die rauschigen Stichproben filtert. Experimente mit vier multimodalen Datensätzen bestätigen, dass GSC rauschige Stichproben effektiv identifiziert und die aktuellen führenden Methoden erheblich übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lindern von Rauschkorrespondenz durch geometrische Strukturkonsistenzlernen | Paper | HyperAI