PaddingFlow: Verbesserung von Normalisierenden Flows durch Ränderungsdimensionale Rauschsignale

Normalizing Flow ist ein generativer Modellierungsansatz mit effizientem Sampling. Allerdings leiden Flow-basierte Modelle an zwei Problemen: 1) Wenn die Zielverteilung eine Mannigfaltigkeit ist, kann aufgrund der Dimensionenungleichheit zwischen der latenten Zielverteilung und der Datenverteilung die Leistung der Flow-basierten Modelle beeinträchtigt werden. 2) Diskrete Daten können dazu führen, dass Flow-basierte Modelle in eine entartete Mischung aus Punktmasse kollabieren. Um diese beiden Probleme zu umgehen, schlagen wir PaddingFlow, eine neuartige Dequantisierungsmethode, vor, die Normalizing Flows durch Hinzufügen von Rauschen in die Padding-Dimension verbessert. Um PaddingFlow umzusetzen, muss lediglich die Dimension der Normalizing Flows angepasst werden. Dadurch ist unsere Methode einfach zu implementieren und rechentechnisch kostengünstig. Darüber hinaus wird das Padding-Dimension-Rauschen ausschließlich in die Padding-Dimension eingefügt, was bedeutet, dass PaddingFlow die Datenverteilung nicht verändert und somit dequantisiert, ohne die zugrundeliegende Verteilung zu beeinflussen. Die Implementierung herkömmlicher Dequantisierungsmethoden erfordert hingegen eine Veränderung der Datenverteilung, was die Leistung beeinträchtigen kann. Wir validieren unsere Methode an den wichtigsten Benchmarks der unbedingten Dichteschätzung, einschließlich fünf tabellarischer Datensätze und vier Bilddatensätze für Variational Autoencoder (VAE)-Modelle sowie an Experimenten zur inversen Kinematik (IK), die eine bedingte Dichteschätzung darstellen. Die Ergebnisse zeigen, dass PaddingFlow in allen durchgeführten Experimenten eine bessere Leistung erzielt, was darauf hindeutet, dass PaddingFlow für eine Vielzahl von Aufgaben allgemein geeignet ist. Der Quellcode ist verfügbar unter: https://github.com/AdamQLMeng/PaddingFlow.