HyperAIHyperAI

Command Palette

Search for a command to run...

OccamNets : Atténuer le biais des jeux de données en privilégiant des hypothèses plus simples

Robik Shrestha Kushal Kafle Christopher Kanan

Résumé

Le biais des jeux de données et les corrélations spuriennes peuvent fortement nuire à la généralisation des réseaux de neurones profonds. De nombreuses approches antérieures ont tenté de résoudre ce problème en utilisant des fonctions de perte alternatives ou des stratégies d’échantillonnage ciblant les motifs rares. Nous proposons une nouvelle voie : modifier l’architecture du réseau afin d’imposer des biais inductifs qui rendent le modèle robuste au biais du jeu de données. Plus précisément, nous introduisons OccamNets, conçus de manière à favoriser, par construction, des solutions plus simples. Les OccamNets intègrent deux biais inductifs. Premièrement, ils sont biaisés pour utiliser la profondeur minimale nécessaire à chaque exemple individuel. Deuxièmement, ils sont biaisés vers l’utilisation d’un nombre réduit de localisations dans l’image pour effectuer la prédiction. Bien que les OccamNets soient orientés vers des hypothèses plus simples, ils restent capables d’apprendre des hypothèses plus complexes lorsque cela est nécessaire. Dans nos expériences, les OccamNets surpassent ou égalent les méthodes de pointe sur des architectures qui n’intègrent pas ces biais inductifs. En outre, nous démontrons que l’association des méthodes de débiaisage de pointe avec les OccamNets conduit à une amélioration supplémentaire des performances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp