Über Mixup-Training: Verbesserte Kalibrierung und vorhersagende Unsicherheit für tiefe neuronale Netze

Mixup~\cite{zhang2017mixup} ist eine kürzlich vorgeschlagene Methode zur Ausbildung tiefer neuronaler Netze (DNNs), bei der während des Trainings zusätzliche Stichproben durch konvexe Kombination zufälliger Bildpaare und deren zugehöriger Labels generiert werden. Obwohl die Implementierung einfach ist, hat sich Mixup als überraschend effektive Methode zur Datenverstärkung für die Bildklassifizierung erwiesen: DNNs, die mit Mixup trainiert wurden, zeigen erhebliche Verbesserungen der Klassifikationsleistung bei mehreren Benchmarks für Bildklassifizierung. In dieser Arbeit diskutieren wir ein bisher unberührtes Aspekt des Mixup-Trainings – die Kalibrierung und vorhersagende Unsicherheit von Modellen, die mit Mixup trainiert wurden. Wir stellen fest, dass DNNs, die mit Mixup trainiert wurden, erheblich besser kalibriert sind – d.h., die vorhergesagten Softmax-Werte sind viel bessere Indikatoren für die tatsächliche Wahrscheinlichkeit einer korrekten Vorhersage – als DNNs, die auf herkömmliche Weise trainiert wurden. Wir führen Experimente an verschiedenen Architekturen und Datensätzen für Bildklassifizierung durch – einschließlich großen Datensätzen wie ImageNet – und bestätigen diese Beobachtung. Zudem finden wir heraus, dass das einfache Mischen von Merkmalen nicht zu demselben Kalibrierungsprofit führt und dass das Label-Smoothing im Mixup-Training eine bedeutende Rolle bei der Verbesserung der Kalibrierung spielt. Schließlich beobachten wir auch, dass DNNs, die mit Mixup trainiert wurden, weniger anfällig für übermäßig selbstbewusste Vorhersagen bei außerhalb der Verteilung liegenden und zufallsrauschigen Daten sind. Wir schließen daraus, dass das typische Übermaß an Selbstbewusstsein in neuronalen Netzen, sogar bei in-distribution-Daten, wahrscheinlich eine Folge des Trainings mit harten Labels ist und dass Mixup bei Klassifikationsaufgaben eingesetzt werden sollte, bei denen vorhersagende Unsicherheit ein wesentlicher Faktor ist.