HyperAIHyperAI
vor 2 Monaten

Manifold Mixup: Bessere Repräsentationen durch Interpolation der verborgenen Zustände

Vikas Verma; Alex Lamb; Christopher Beckham; Amir Najafi; Ioannis Mitliagkas; Aaron Courville; David Lopez-Paz; Yoshua Bengio
Manifold Mixup: Bessere Repräsentationen durch Interpolation der verborgenen Zustände
Abstract

Tiefe neuronale Netze erweisen sich als sehr effizient im Lernen von Trainingsdaten, geben jedoch oft fälschlicherweise und mit hoher Zuversicht falsche Vorhersagen ab, wenn sie auf leicht abweichenden Testbeispielen evaluiert werden. Dies betrifft Verteilungsverschiebungen, Ausreißer und feindliche Angriffe (adversarial examples). Um diese Probleme zu lösen, schlagen wir Manifold Mixup vor, einen einfachen Regularisierer, der neuronale Netze dazu anregt, weniger sicher auf Interpolationen verborgener Darstellungen (hidden representations) zu prognostizieren. Manifold Mixup nutzt semantische Interpolationen als zusätzliches Trainingsignal und erhält dadurch neuronale Netze mit glatteren Entscheidungsgrenzen auf mehreren Darstellungsebenen. Als Ergebnis lernen neuronale Netze, die mit Manifold Mixup trainiert wurden, Klassendarstellungen mit weniger Varianzrichtungen. Wir beweisen die Theorie dahinter unter idealen Bedingungen, validieren sie in praktischen Szenarien und stellen Verbindungen zu früheren Arbeiten über Informationstheorie und Generalisierung her. Trotz geringer Rechenkosten und nur wenigen Codezeilen zur Implementierung verbessert Manifold Mixup starke Baseline-Modelle in überwachtem Lernen, Robustheit gegenüber einstufigen feindlichen Angriffen (single-step adversarial attacks) und dem logarithmischen Testwahrscheinlichkeitsverteilungswert (test log-likelihood).