Benchmarking der Mikro-Aktionserkennung: Datensatz, Methoden und Anwendungen

Mikroaktionen sind unauffällige, nichtverbale Verhaltensweisen, die durch Bewegungen geringer Intensität gekennzeichnet sind. Sie bieten Einblicke in die Gefühle und Absichten von Individuen und sind für menschenorientierte Anwendungen wie Emotionserkennung und psychologische Bewertung von Bedeutung. Die Identifizierung, Differenzierung und Verständnis von Mikroaktionen stellen jedoch Herausforderungen dar, aufgrund der unauffälligen und schwer zugänglichen Natur dieser subtilen menschlichen Verhaltensweisen im Alltag. In dieser Studie sammeln wir ein neues Mikroaktions-Datensatz, der als Micro-action-52 (MA-52) bezeichnet wird, und schlagen eine Referenzmethode namens Mikroaktionsnetzwerk (MANet) für die Aufgabe der Mikroaktions-Erkennung (MAR) vor. Einzigartig bietet MA-52 eine Gesamtkörpersicht, einschließlich Gesten, Ober- und Unterextremitätenbewegungen, um umfassende Hinweise auf Mikroaktionen zu enthüllen. Im Detail enthält MA-52 52 Kategorien von Mikroaktionen sowie sieben Körperpartlabels und umfasst eine vollständige Palette realistischer und natürlicher Mikroaktionen, die aus 205 Teilnehmern und 22.422 Videoinstanzen aus psychologischen Interviews zusammengestellt wurden. Basierend auf dem vorgeschlagenen Datensatz bewerten wir MANet sowie neun weitere weit verbreitete Methoden zur Aktionserkennung. MANet integriert Squeeze-and-Excitation (SE)-Module und temporale Shift-Module (TSM) in die ResNet-Architektur zur Modellierung der räumlich-zeitlichen Merkmale von Mikroaktionen. Anschließend wird ein joint-embedding Verlust entworfen, um die semantische Übereinstimmung zwischen Videos und Aktionslabels zu verbessern; dieser Verlust dient dazu, visuell ähnliche aber unterschiedliche Kategorien von Mikroaktionen besser zu trennen. Die erweiterte Anwendung in der Emotionserkennung hat einen wichtigen Wert unseres vorgeschlagenen Datensatzes und unserer Methode demonstriert. In Zukunft werden tiefgreifende Untersuchungen zum menschlichen Verhalten, den Emotionen und der psychologischen Bewertung durchgeführt werden. Der Datensatz und der Quellcode werden unter https://github.com/VUT-HFUT/Micro-Action veröffentlicht.