Verbesserung von Diffusionsmodellen für authentische virtuelle Probierprozesse im Freien

Diese Arbeit befasst sich mit der bildbasierten virtuellen Probier-Technik, bei der ein Bild einer Person erstellt wird, die ein ausgewähltes Kleidungsstück trägt, basierend auf einem Paar von Bildern, die jeweils die Person und das Kleidungsstück abbilden. Frühere Ansätze adaptieren bestehende exemplarische Inpainting-Diffusionsmodelle für die virtuelle Probier-Technik, um die Natürlichkeit der generierten Bilder im Vergleich zu anderen Methoden (z. B. GAN-basierten) zu verbessern, verlieren jedoch oft die Identität des Kleidungsstücks. Um diese Einschränkung zu überwinden, schlagen wir ein neuartiges Diffusionsmodell vor, das die Treue zum Kleidungsstück verbessert und authentische virtuelle Probier-Bilder generiert. Unser Ansatz, IDM-VTON genannt, verwendet zwei verschiedene Module zur Kodierung der Semantik des Kleidungsstück-Bildes; basierend auf der Basis-UNet des Diffusionsmodells werden 1) die hochlevel-Semantiken, die aus einem visuellen Encoder extrahiert wurden, in die Cross-Attention-Schicht integriert, und 2) die tiefen Merkmale, die aus einer parallelen UNet-Struktur gewonnen werden, in die Self-Attention-Schicht eingeflossen. Zusätzlich liefern wir detaillierte Text-Prompts sowohl für das Kleidungsstück als auch für die Person, um die Authentizität der generierten Bilder zu erhöhen. Schließlich stellen wir eine Anpassungsmethode vor, die ein Paar aus Person- und Kleidungsstück-Bild verwendet und die Treue sowie Authentizität erheblich verbessert. Unsere experimentellen Ergebnisse zeigen, dass unser Ansatz gegenüber früheren Ansätzen (sowohl Diffusions- als auch GAN-basierte) sowohl qualitativ als auch quantitativ hinsichtlich der Erhaltung von Kleidungsdetails und der Generierung authentischer virtueller Probier-Bilder überlegen ist. Darüber hinaus belegt die vorgeschlagene Anpassungsmethode ihre Wirksamkeit in einer realen Anwendungssituation. Weitere visuelle Beispiele finden sich auf unserer Projektseite: https://idm-vton.github.io