HyperAIHyperAI

Command Palette

Search for a command to run...

Verständnis von Hand-Bildern mittels tiefer Multi-Task-Learning

Xiong Zhang Hongsheng Huang Jianchao Tan Hongmin Xu Cheng Yang Guozhu Peng Lei Wang Ji Liu

Zusammenfassung

Die Analyse und Verständnis von Handinformationen aus multimedialen Materialien wie Bildern oder Videos ist für zahlreiche Anwendungen in der realen Welt von großer Bedeutung und bleibt ein aktives Forschungsfeld. Während es bereits verschiedene Ansätze gibt, die darauf abzielen, Handinformationen aus einzelnen Bildern zu rekonstruieren, lösen diese meist nur eine einzelne Aufgabe – beispielsweise die Segmentierung der Handmaske, die Schätzung der 2D-/3D-Handpose oder die Rekonstruktion einer Handmesh – und erzielen unter schwierigen Bedingungen oft nur begrenzte Leistung. Um die Leistung dieser Aufgaben weiter zu verbessern, schlagen wir einen neuartigen Framework für die Hand-Bild-Verständnis (Hand Image Understanding, HIU) vor, der umfassende Informationen über das Handobjekt aus einem einzigen RGB-Bild extrahiert, indem die Beziehungen zwischen diesen Aufgaben gemeinsam berücksichtigt werden. Um dieses Ziel zu erreichen, wird ein kaskadenartiger Mehraufgaben-Lern- (Multi-Task Learning, MTL) Backbone entworfen, der die Schätzung von 2D-Heatmaps, die Lernung der Segmentierungsmaske sowie die Generierung einer intermediären 3D-Informationenkodierung ermöglicht. Dieser wird ergänzt durch ein grob-zu-fein Lernparadigma und eine selbstüberwachte Lernstrategie. Qualitative Experimente zeigen, dass unser Ansatz auch in anspruchsvollen Situationen sinnvolle Mesh-Repräsentationen rekonstruieren kann. Quantitativ übertrifft unsere Methode die derzeit besten Ansätze erheblich auf mehreren etablierten Datensätzen, gemessen an einer Vielzahl von Bewertungsmetriken.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp