HyperAIHyperAI

Command Palette

Search for a command to run...

HandBooster: Verbesserung der 3D-Handgitter-Rekonstruktion durch bedingte Synthese und Abtastung von Hand-Objekt-Interaktionen

Hao Xu Haipeng Li Yinqiao Wang Shuaicheng Liu Chi-Wing Fu

Zusammenfassung

Die robuste Rekonstruktion eines 3D-Handgitters aus einem einzelnen Bild ist sehr herausfordernd, aufgrund des Mangels an Vielfalt in den vorhandenen realen Datensätzen. Obwohl die Daten-Synthese das Problem lindern kann, behindert der Synthese-zu-Real-Lücke (syn-to-real gap) immer noch dessen Nutzung. In dieser Arbeit stellen wir HandBooster vor, einen neuen Ansatz, der die Daten-Vielfalt erhöht und die Leistung der 3D-Handgitter-Rekonstruktion durch das Training eines bedingten generativen Raums auf Hand-Objekt-Interaktionen und gezieltes Abtasten dieses Raums zur Synthese effektiver Datensamples verbessert. Zunächst konstruieren wir vielseitige inhaltsbezogene Bedingungen, um ein Diffusionsmodell zu leiten, realistische Bilder mit diversen Handerscheinungen, -haltungen, -Sichten und -Hintergründen zu erzeugen; vorteilhaft sind genaue 3D-Annotierungen dabei kostenlos erhalten. Anschließend entwickeln wir eine neuartige Bedingungserstellerin basierend auf unseren similaritätsbewussten Verteilungsabtaststrategien, um gezielt neue und realistische Interaktionshaltungen zu finden, die sich von dem Trainingsdatensatz unterscheiden. Mit unserer Methode können mehrere Baseline-Modelle erheblich über den aktuellen Stand der Technik (SOTA) hinaus verbessert werden, sowohl auf den HO3D- als auch auf den DexYCB-Benchmarks. Unser Code wird veröffentlicht unter https://github.com/hxwork/HandBooster_Pytorch.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp