Selbstüberwachendes Lernen mit Datenaugmentierungen beweisbar isoliert Inhalt von Stil

Selbstüberwachtes Lernverfahren zur Darstellungsentwicklung hat in zahlreichen Domänen bemerkenswerte Erfolge gezeigt. Eine verbreitete Praxis besteht darin, Daten durch handgefertigte Transformationen zu augmentieren, die darauf abzielen, die Semantik der Daten unverändert zu lassen. Wir untersuchen den empirischen Erfolg dieses Ansatzes aus theoretischer Sicht. Wir modellieren den Augmentierungsprozess als latentes Variablenmodell, indem wir eine Aufteilung der latente Darstellung in einen Inhalts- und einen Stilkomponente postulieren, wobei die Inhaltskomponente als invariant gegenüber Augmentierung angenommen wird, während die Stilkomponente veränderlich ist. Im Gegensatz zu vorherigen Arbeiten zur Entkoppelung und unabhängigen Komponentenanalyse erlauben wir sowohl nichttriviale statistische als auch kausale Abhängigkeiten im latente Raum. Wir untersuchen die Identifizierbarkeit der latente Darstellung basierend auf Paaren von Beobachtungsperspektiven und beweisen hinreichende Bedingungen, die es uns erlauben, die invariante Inhaltskomponente bis auf eine invertierbare Abbildung sowohl im generativen als auch im diskriminativen Setting zu identifizieren. Numerische Simulationen mit abhängigen latente Variablen bestätigen unsere Theorie. Schließlich führen wir Causal3DIdent ein, eine Datensatz hochdimensionaler, visuell komplexer Bilder mit reichhaltigen kausalen Abhängigkeiten, die wir nutzen, um die Wirkung praktisch angewendeter Datenaugmentierungen zu untersuchen.