Formation de sous-réseaux non biaisés avec une épuration pondérée contrastive

Les réseaux neuronaux sont souvent biaisés en faveur de caractéristiques corrélées de manière spure qui fournissent des preuves statistiques trompeuses et non généralisables. Cela soulève une question intéressante : « Existe-t-il un sous-réseau fonctionnel optimal et non biaisé au sein d'un réseau fortement biaisé ? Si oui, comment extraire un tel sous-réseau ? » Bien que des preuves empiriques aient été accumulées concernant l'existence de ces sous-réseaux non biaisés, ces observations sont principalement basées sur la guidance d'échantillons non biaisés véritables. Ainsi, il reste à explorer comment découvrir les sous-réseaux optimaux avec des ensembles de données d'entraînement biaisés en pratique. Pour répondre à cette question, nous présentons d'abord notre compréhension théorique qui met en évidence les limites potentielles des algorithmes existants pour explorer les sous-réseaux non biaisés en présence de fortes corrélations spures. Nous clarifions ensuite l'importance des échantillons conflictuels avec le biais dans l'apprentissage structurel. Guidés par ces observations, nous proposons un algorithme de Pruning Pondéré Contrastif Débiaisé (Debiased Contrastive Weight Pruning - DCWP), capable d'identifier les sous-réseaux non biaisés sans nécessiter des annotations de groupe coûteuses. Les résultats expérimentaux montrent que notre approche surpasse significativement les méthodes débiaisantes de pointe actuelles, malgré une réduction considérable du nombre de paramètres.