Les correspondances bruyantes, qui font référence aux incompatibilités dans les paires de données inter-modales, sont courantes dans les ensembles de données annotés par des humains ou collectés sur le web. Les approches précédentes pour exploiter ces données se concentrent principalement sur l'apprentissage de labels bruyants unimodaux sans corriger l'impact sur les structures géométriques inter-modales et intramodales dans l'apprentissage multimodal. En réalité, nous constatons que ces deux structures sont efficaces pour discriminer les correspondances bruyantes grâce à leurs différences structurelles lorsqu'elles sont bien établies. Inspirés par cette observation, nous introduisons une méthode de Consistance Structurale Géométrique (CSG) pour inférer la véritable correspondance. Plus précisément, la CSG garantit la préservation des structures géométriques à l'intérieur et entre les modalités, permettant une discrimination précise des échantillons bruyants basée sur leurs différences structurelles. En utilisant ces labels de correspondance vraie inférés, la CSG affine l'apprentissage des structures géométriques en filtrant les échantillons bruyants. Des expériences menées sur quatre ensembles de données inter-modales confirment que la CSG identifie efficacement les échantillons bruyants et dépasse considérablement les méthodes actuellement en tête.