HyperAIHyperAI

Command Palette

Search for a command to run...

Maskierte Bewegungsvorhersager sind starke 3D-Aktionsrepräsentationslerner

Yunyao Mao¹ Jiajun Deng³ Wengang Zhou¹,²,* Yao Fang⁴ Wanli Ouyang³ Houqiang Li¹,²,*

Zusammenfassung

Im Bereich der 3D-Aktenerkennung bei Menschen stellt die begrenzte Menge an überwachten Daten eine Herausforderung dar, das Modellierungspotenzial leistungsfähiger Netze wie Transformer vollständig auszuschöpfen. Daher untersuchen Forscher aktiv effektive selbstüberwachte Vortrainingsstrategien. In dieser Arbeit zeigen wir, dass anstelle des verbreiteten Vorwandtasks zur maskierten Selbstkomponentenrekonstruktion in menschlichen Gelenken, die explizite Modellierung kontextueller Bewegungen entscheidend für den Erfolg beim Lernen effektiver Merkmalsrepräsentationen für die 3D-Aktenerkennung ist. Formal schlagen wir den Rahmenwerk Masked Motion Prediction (MAMP) vor. Genauer gesagt nimmt das vorgeschlagene MAMP eine maskierte räumlich-zeitliche Skelettfolge als Eingabe und prognostiziert die entsprechende zeitliche Bewegung der maskierten menschlichen Gelenke. Angesichts der hohen zeitlichen Redundanz der Skelettfolge fungiert in unserem MAMP die Bewegungsinformation auch als ein empirischer semantischer Reichtum, der den Maskierungsprozess leitet und eine bessere Aufmerksamkeit auf semantisch reiche zeitliche Bereiche fördert. Umfangreiche Experimente mit den Datensätzen NTU-60, NTU-120 und PKU-MMD zeigen, dass das vorgeschlagene MAMP-Vortraining die Leistung des eingesetzten einfachen Transformers erheblich verbessert und topaktuelle Ergebnisse ohne zusätzliche Verfeinerungen erzielt. Der Quellcode unseres MAMP ist unter https://github.com/maoyunyao/MAMP verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp