Zur Verständnis von überwachtem Darstellungslernen mit RKHS und GAN

Der Erfolg tiefer überwachter Lernverfahren beruht auf ihrer Fähigkeit, automatisch Datenrepräsentationen zu erzeugen. Eine gute Darstellung hochdimensionaler komplexer Daten sollte niedrigdimensional und entkoppelt sein, dabei jedoch so wenig Information wie möglich verlieren.In dieser Arbeit geben wir eine statistische Erklärung dafür, wie die Ziele tiefer Repräsentationslernen mit Hilfe von reproduzierenden Kern-Hilberträumen (Reproducing Kernel Hilbert Spaces, RKHS) und generativen adversarialen Netzwerken (Generative Adversarial Networks, GAN) erreicht werden können. Auf der Populationsebene formulieren wir das ideale Aufgabenstellung des Repräsentationslernens als die Suche nach einer nichtlinearen Abbildung, die die Summe zweier Verluste minimiert: einerseits den Verlust, der die bedingte Unabhängigkeit charakterisiert (mittels RKHS), und andererseits den Verlust, der die Entkoppelung (Disentanglement) beschreibt (mittels GAN). Auf der Stichprobenebene schätzen wir die Zielabbildung nichtparametrisch mit tiefen neuronalen Netzwerken. Wir beweisen die Konsistenz im Sinne des Funktionswertes der Populationsziele. Die vorgeschlagenen Methoden werden durch umfassende numerische Experimente und Analysen realer Daten im Kontext von Regressions- und Klassifikationsaufgaben validiert. Die resultierenden Vorhersagegenauigkeiten übersteigen die Leistungszahlen bestehender State-of-the-Art-Methoden.