OccamNets : Atténuer le biais des jeux de données en privilégiant des hypothèses plus simples

Le biais des jeux de données et les corrélations spuriennes peuvent fortement nuire à la généralisation des réseaux de neurones profonds. De nombreuses approches antérieures ont tenté de résoudre ce problème en utilisant des fonctions de perte alternatives ou des stratégies d’échantillonnage ciblant les motifs rares. Nous proposons une nouvelle voie : modifier l’architecture du réseau afin d’imposer des biais inductifs qui rendent le modèle robuste au biais du jeu de données. Plus précisément, nous introduisons OccamNets, conçus de manière à favoriser, par construction, des solutions plus simples. Les OccamNets intègrent deux biais inductifs. Premièrement, ils sont biaisés pour utiliser la profondeur minimale nécessaire à chaque exemple individuel. Deuxièmement, ils sont biaisés vers l’utilisation d’un nombre réduit de localisations dans l’image pour effectuer la prédiction. Bien que les OccamNets soient orientés vers des hypothèses plus simples, ils restent capables d’apprendre des hypothèses plus complexes lorsque cela est nécessaire. Dans nos expériences, les OccamNets surpassent ou égalent les méthodes de pointe sur des architectures qui n’intègrent pas ces biais inductifs. En outre, nous démontrons que l’association des méthodes de débiaisage de pointe avec les OccamNets conduit à une amélioration supplémentaire des performances.