Motion2Language, unüberwachtes Lernen synchronisierter semantischer Bewegungssegmentierung

In dieser Arbeit untersuchen wir die Erstellung einer Sequenz-zu-Sequenz-Architektur für die Übersetzung und Synchronisation von Bewegung in Sprache. Das Ziel ist es, Bewegungsaufzeichnungen in englische natürlichsprachliche Beschreibungen zu übersetzen, so dass die Beschreibungen gleichzeitig mit den ausgeführten Aktionen generiert werden. Dies ermöglicht als Nebenprodukt eine semantische Segmentierung, ohne jedoch synchronisierte Trainingsdaten zu erfordern. Wir schlagen eine neue rekurrente Formulierung der lokalen Aufmerksamkeit vor, die sich für die gleichzeitige/live Textgenerierung eignet, sowie eine verbesserte Bewegungsencoder-Architektur, die besser auf kleinere Datenmengen und für die gleichzeitige Generierung zugeschnitten ist. Beide Beiträge werden in individuellen Experimenten evaluiert, wobei wir das standardisierte BLEU4-Maß sowie ein einfaches Maß für semantische Äquivalenz auf dem KIT-Bewegungssprachendatensatz verwenden. In einem nachfolgenden Experiment bewerten wir die Qualität der Synchronisation des generierten Textes in unseren vorgeschlagenen Ansätzen durch mehrere Evaluationsmaße. Wir stellen fest, dass sowohl die Beiträge zum Aufmerksamkeitsmechanismus als auch zur Encoder-Architektur additiv die Qualität des generierten Textes (BLEU und semantische Äquivalenz) verbessern, aber auch die Synchronisation. Unser Code ist unter folgender URL verfügbar:https://github.com/rd20karim/M2T-Segmentation/tree/main