OccamNets: Reduzierung von Datensatzverzerrungen durch Präferenz einfacher Hypothesen

Datensatzverzerrungen und spurious Korrelationen können die Generalisierungsfähigkeit tiefer neuronaler Netze erheblich beeinträchtigen. Viele vorherige Ansätze haben dieses Problem entweder durch alternative Verlustfunktionen oder Sampling-Strategien angegangen, die sich auf seltene Muster konzentrieren. Wir schlagen eine neue Richtung vor: die Modifikation der Netzarchitektur, um induktive Vorurteile einzuführen, die das Netz robuster gegenüber Datensatzverzerrungen machen. Konkret stellen wir OccamNets vor, die durch ihre Architektur bewusst einfachere Lösungen bevorzugen. OccamNets verfügen über zwei induktive Vorurteile. Erstens werden sie dazu angeregt, für jedes einzelne Beispiel so wenig Netzwerk-Tiefe wie nötig zu nutzen. Zweitens werden sie dazu angeregt, für die Vorhersage möglichst wenige Bildpositionen zu verwenden. Obwohl OccamNets eine Neigung zu einfacheren Hypothesen aufweisen, können sie dennoch komplexere Hypothesen lernen, wenn dies erforderlich ist. In Experimenten übertrifft oder erreicht OccamNets die Leistung von State-of-the-Art-Methoden, die auf Architekturen laufen, die diese induktiven Vorurteile nicht berücksichtigen. Zudem zeigen wir, dass sich die Ergebnisse weiter verbessern, wenn State-of-the-Art-Debiasing-Methoden mit OccamNets kombiniert werden.