Der Körper im Fokus: Automatische Analyse von Körpersprache und Selbstadaptionen bei psychischer Belastung

Psychologische Belastung ist ein signifikantes und wachsendes Problem in der Gesellschaft. Die automatische Erkennung, Bewertung und Analyse dieser Belastung ist ein aktives Forschungsgebiet. Im Vergleich zu Modalitäten wie Gesicht, Kopf und Stimme sind jedoch Studien, die die Nutzung der Körpersignale für diese Aufgaben untersuchen, relativ selten. Dies liegt teilweise an den begrenzten verfügbaren Datensätzen und der Schwierigkeit, nützliche körperliche Merkmale automatisch zu extrahieren. Neuere Fortschritte in der Pose-Schätzung und dem tiefen Lernen haben neue Ansätze in dieser Modalität und diesem Bereich ermöglicht. Um diese Forschung zu befördern, haben wir einen neuen Datensatz gesammelt und analysiert, der vollständige Körpervideos von kurzen Interviews sowie selbst gemeldete Belastungslabels enthält. Wir schlagen eine neuartige Methode zur automatischen Erkennung von Selbstadaptionen und Ruhelosigkeit vor, einer Teilmenge von Selbstadaptionen, die mit psychologischer Belastung korreliert ist. Wir führen eine Analyse statistischer Körpersignale und Ruhelosigkeitsmerkmale durch, um zu erforschen, wie sich verschiedene Belastungsstufen auf das Verhalten der Probanden auswirken. Anschließend schlagen wir einen multimodalen Ansatz vor, bei dem verschiedene Merkmalsrepräsentationen mithilfe von Multimodalen Tiefen Entstör-Autoencodern (Multi-modal Deep Denoising Auto-Encoders) und Verbesserter Fisher-Vektor-Kodierung (Improved Fisher Vector Encoding) kombiniert werden. Wir zeigen, dass unser vorgeschlagenes Modell, das audiovisuelle Merkmale mit automatisch erkannten Verhaltenshinweisen zur Ruhelosigkeit kombiniert, in der Lage ist, die Belastungsstufen in einem Datensatz vorherzusagen, der mit selbst gemeldeten Angst- und Depressionswerten gekennzeichnet ist.