MixMo: Mischen mehrerer Eingaben für mehrere Ausgaben über tiefe Subnetzwerke

Kürzlich wurden Strategien entwickelt, die eine Ensembles-Bildung „kostenlos“ erreichen, indem gleichzeitig diverse Subnetze innerhalb eines einzigen Basen-Netzwerks trainiert werden. Der zentrale Ansatz während des Trainings besteht darin, dass jedes Subnetz nur eine der mehreren gleichzeitig bereitgestellten Eingaben klassifizieren lernt. Die Frage, wie diese mehrfachen Eingaben am besten kombiniert werden sollten, wurde bisher jedoch noch nicht systematisch untersucht. In diesem Paper stellen wir MixMo vor, einen neuen, verallgemeinerten Rahmen für das Lernen von tiefen Multi-Input-Multi-Output-Subnetzen. Unser zentrales Motiv ist es, die suboptimalen Summierungsoperationen, die in früheren Ansätzen implizit vorhanden sind, durch eine sinnvollere Mischmechanik zu ersetzen. Dazu ziehen wir Inspiration aus erfolgreichen Techniken zur Daten-Augmentation mittels gemischter Proben. Wir zeigen, dass eine binäre Mischung in den Merkmalen – insbesondere mit rechteckigen Patchen aus CutMix – die Ergebnisse verbessert, indem die Subnetze stärker und vielfältiger werden. Unsere Methode erreicht neue SOTA-Ergebnisse bei der Bildklassifikation auf den Datensätzen CIFAR-100 und Tiny ImageNet. Die einfach umzusetzenden Modelle überlegen den datenbasierten tiefen Ensembles deutlich, ohne dabei die zusätzlichen Overheads bei Inferenz und Speicherbedarf zu erzeugen. Da wir in der Merkmalsdarstellung operieren und die Ausdruckskraft großer Netzwerke effizienter nutzen, eröffnen wir eine neue Forschungsrichtung, die sich ergänzend zu früheren Arbeiten positioniert.