HyperAIHyperAI

Command Palette

Search for a command to run...

Motion2Language, unüberwachtes Lernen synchronisierter semantischer Bewegungssegmentierung

Karim Al-Rawi Rajat Das

Zusammenfassung

In dieser Arbeit untersuchen wir die Erstellung einer Sequenz-zu-Sequenz-Architektur für die Übersetzung und Synchronisation von Bewegung in Sprache. Das Ziel ist es, Bewegungsaufzeichnungen in englische natürlichsprachliche Beschreibungen zu übersetzen, so dass die Beschreibungen gleichzeitig mit den ausgeführten Aktionen generiert werden. Dies ermöglicht als Nebenprodukt eine semantische Segmentierung, ohne jedoch synchronisierte Trainingsdaten zu erfordern. Wir schlagen eine neue rekurrente Formulierung der lokalen Aufmerksamkeit vor, die sich für die gleichzeitige/live Textgenerierung eignet, sowie eine verbesserte Bewegungsencoder-Architektur, die besser auf kleinere Datenmengen und für die gleichzeitige Generierung zugeschnitten ist. Beide Beiträge werden in individuellen Experimenten evaluiert, wobei wir das standardisierte BLEU4-Maß sowie ein einfaches Maß für semantische Äquivalenz auf dem KIT-Bewegungssprachendatensatz verwenden. In einem nachfolgenden Experiment bewerten wir die Qualität der Synchronisation des generierten Textes in unseren vorgeschlagenen Ansätzen durch mehrere Evaluationsmaße. Wir stellen fest, dass sowohl die Beiträge zum Aufmerksamkeitsmechanismus als auch zur Encoder-Architektur additiv die Qualität des generierten Textes (BLEU und semantische Äquivalenz) verbessern, aber auch die Synchronisation. Unser Code ist unter folgender URL verfügbar:https://github.com/rd20karim/M2T-Segmentation/tree/main


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Motion2Language, unüberwachtes Lernen synchronisierter semantischer Bewegungssegmentierung | Paper | HyperAI