SageMix: Salienzgesteuerte Mixup für Punktwolken

Datenverstärkung ist entscheidend für die Verbesserung der Generalisierungsfähigkeit von tiefen Lernmodellen. Mixup ist eine einfache und weit verbreitete Technik zur Datenverstärkung, die sich als effektiv erwiesen hat, um das Problem des Überanpassens (Overfitting) und der Datenknappheit zu lindern. Zudem zeigen jüngste Studien zum salienzorientierten Mixup im Bildbereich, dass das Erhalten diskriminativer Teile förderlich für die Verbesserung der Generalisierungsleistung ist. Allerdings sind diese auf Mixup basierenden Datenverstärkungen in der 3D-Vision, insbesondere bei Punktwolken, bisher wenig erforscht. In dieser Arbeit schlagen wir SageMix vor, eine salienzgesteuerte Mixup-Methode für Punktwolken, um wichtige lokale Strukturen zu bewahren. Insbesondere extrahieren wir saliente Regionen aus zwei Punktwolken und kombinieren sie glatt zu einer kontinuierlichen Form. Durch eine einfache sequentielle Stichprobe mit neu gewichteten Salienzwerten behält SageMix die lokale Struktur der salienten Regionen bei. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode in verschiedenen Benchmark-Datensätzen für Punktwolken stets bessere Ergebnisse erzielt als bestehende Mixup-Methoden. Mit PointNet++ erreicht unsere Methode eine Genauigkeitssteigerung von 2,6 % und 4,0 % im Vergleich zur Standardausbildung in den Datensätzen 3D Warehouse (MN40) und ScanObjectNN. Neben der Generalisierungsleistung verbessert SageMix auch Robustheit und Unsicherheitskalibrierung. Darüber hinaus erzielt unsere Methode vergleichbare Leistungen bei verschiedenen Aufgaben wie Segmentierung von Teilen und standardmäßiger Klassifikation von 2D-Bildern, wenn sie angewendet wird.