Apprendre de l'échec : Formation d'un classifieur non biaisé à partir d'un classifieur biaisé

Les réseaux de neurones apprennent souvent à faire des prédictions qui reposent excessivement sur des corrélations spurieuses présentes dans le jeu de données, ce qui entraîne un biais du modèle. Bien que les travaux antérieurs abordent cette question en utilisant une étiquetage explicite des attributs spurieusement corrélés ou en supposant un type particulier de biais, nous proposons plutôt d'utiliser une forme moins coûteuse et générique de la connaissance humaine, largement applicable à divers types de biais. Nous observons d'abord que les réseaux de neurones ne s'appuient sur la corrélation spuriée que lorsqu'elle est « plus facile » à apprendre que la connaissance souhaitée, et que cette dépendance est particulièrement marquée au début de l'entraînement. Sur la base de ces observations, nous proposons un schéma de désbiaisage basé sur l'échec en entraînant simultanément un couple de réseaux de neurones. Notre idée principale se divise en deux aspects : (a) nous formons intentionnellement le premier réseau pour qu'il soit biaisé en amplifiant continuellement sa « prévention », et (b) nous désbiaisons l'entraînement du second réseau en mettant l'accent sur les échantillons qui contredisent la prévention du réseau biaisé mentionné à (a). De nombreuses expériences montrent que notre méthode améliore considérablement l'entraînement du réseau face à divers types de biais, tant dans des jeux de données synthétiques que dans des jeux de données réels. De manière surprenante, notre cadre peut même surpasser occasionnellement les méthodes de désbiaisage nécessitant une supervision explicite des attributs spurieusement corrélés.