d-SNE: Domänenanpassung mittels stochastischer Nachbarschafts-Einbettung

Auf der einen Seite sind tiefe neuronale Netze effektiv bei der Lernung großer Datensätze. Auf der anderen Seite sind sie ineffizient in der Nutzung von Daten. Sie erfordern oft große Mengen an gelabelten Daten, um ihre Vielzahl an Parametern zu trainieren. Das Training größerer und tieferer Netzwerke ist ohne geeignete Regularisierung, insbesondere bei Verwendung kleiner Datensätze, äußerst schwierig. Gleichzeitig ist die Beschaffung gut annotierter Daten kostspielig, zeitaufwendig und oft nicht praktikabel. Eine gängige Methode zur Regularisierung dieser Netzwerke besteht darin, das Netzwerk mit mehr Daten aus einem alternativen, repräsentativen Datensatz zu trainieren. Dies kann jedoch nachteilige Auswirkungen haben, wenn die Statistiken des repräsentativen Datensatzes von denen des Zielbereichs abweichen. Dieses Dilemma resultiert aus dem Problem des Domänenverschiebungs (domain shift). Daten aus einer verschobenen Domäne können keine spezifischen Merkmale erzeugen, wenn ein Merkmalsextraktor aus der repräsentativen Domäne verwendet wird. In der Vergangenheit wurden mehrere Techniken zur Domänenanpassung vorgeschlagen, um dieses Problem zu lösen. In diesem Paper stellen wir eine neue Technik zur Domänenanpassung (d-SNE) vor, die geschickte stochastische Nachbarschaftseinhüllungstechniken und eine neuartige modifizierte Hausdorff-Distanz nutzt. Die vorgeschlagene Methode ist end-to-end lernbar und daher ideal geeignet für das Training neuronaler Netzwerke. Ausführliche Experimente zeigen, dass d-SNE die derzeitigen State-of-the-Art-Methoden übertrifft und robust gegenüber Variabilitäten verschiedener Datensätze ist, selbst in One-Shot- und halbüberwachten Lernszenarien. Darüber hinaus demonstriert d-SNE die Fähigkeit, gleichzeitig auf mehrere Domänen zu generalisieren.