HyperAIHyperAI

Command Palette

Search for a command to run...

GestureGAN für die Übersetzung von Handgesten in der Wildbahn

Hao Tang Wei Wang Dan Xu Yan Yan Nicu Sebe

Zusammenfassung

Die Übersetzung von Handgesten in freier Umgebung ist eine herausfordernde Aufgabe, da Handgesten beliebige Haltungen, Größen, Positionen und Selbstverdeckungen aufweisen können. Daher erfordert diese Aufgabe ein tiefgründiges Verständnis der Zuordnung zwischen der Eingangsquelle-Geste und der Ausgangsziel-Geste. Um dieses Problem zu lösen, schlagen wir ein neues Hand-Gestenerzeugendes adversariales Netzwerk (GestureGAN) vor. Das GestureGAN besteht aus einem einzelnen Generator ( G ) und einem Diskriminator ( D ), die als Eingabe ein bedingtes Handbild und ein Zielhandskelettbild verwenden. Das GestureGAN nutzt die Handskelettinformation explizit und lernt die Gesten-zu-Gesten-Zuordnung durch zwei neuartige Verlustfunktionen: den Farbverlust (color loss) und den Zyklus-Konsistenz-Verlust (cycle-consistency loss). Der vorgeschlagene Farbverlust behandelt das Problem der „Kanälpollution“ beim Rückwärtspropagieren der Gradienten. Zudem präsentieren wir den Fréchet ResNet Abstand (FRD), um die Qualität der generierten Bilder zu bewerten. Ausführliche Experimente auf zwei weit verbreiteten Benchmark-Datensätzen zeigen, dass das vorgeschlagene GestureGAN den Stand der Technik in der Aufgabe der unbeschränkten Handgesten-Übersetzung erreicht. Gleichzeitig sind die generierten Bilder von hoher Qualität und fotorealistisch, sodass sie als Datenverstärkung verwendet werden können, um die Leistung eines Handgestenerkenners zu verbessern. Unser Modell und Code sind unter https://github.com/Ha0Tang/GestureGAN verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp