Multimodale Analyse von Persönlichkeitsmerkmalen anhand von Videos der Selbstpräsentation und induzierten Verhaltensweisen

Die Persönlichkeitsanalyse ist ein zentrales Forschungsfeld in mehreren Disziplinen, darunter Psychologie, Psychiatrie und Neurowissenschaften. Infolge der jüngsten bahnbrechenden Fortschritte im Bereich des maschinellen Lernens ist sie zudem zu einem populären Forschungsthema in der Informatik geworden. Während aktuelle rechnergestützte Methoden in der Lage sind, Verhaltenssignale (beispielsweise Gesichtsausdrücke, Gesten und Sprache) zu interpretieren, um den Grad von (scheinbaren) Persönlichkeitsmerkmalen abzuschätzen, sind die derzeit verfügbaren Bewertungsinstrumente für praktische Anwendungen nach wie vor unzureichend – ganz abgesehen von der Notwendigkeit schneller und präziser Analyseverfahren. In dieser Studie präsentieren wir multimodale tiefe Architekturen zur Schätzung der Big-Five-Persönlichkeitsmerkmale aus (zeitlichen) audiovisuellen Signalen sowie transkribierten Sprachaufnahmen. Darüber hinaus haben wir zur detaillierten Analyse von Persönlichkeitsmerkmalen ein neues audiovisuelles Datensatzkollektiv gesammelt, das als „Self-presentation and Induced Behavior Archive for Personality Analysis (SIAP)“ bezeichnet wird. Im Gegensatz zu bereits verfügbaren Datensätzen enthält SIAP nicht nur Aufnahmen von Selbstpräsentation (Sprachvideos), sondern zusätzlich Aufnahmen von induziertem Verhalten. Anhand umfassender Experimente an SIAP sowie an den ChaLearn LAP First Impressions-Datensätzen bewerten wir systematisch die Zuverlässigkeit verschiedener Verhaltensmodalitäten sowie deren kombinierte Nutzung. Zudem untersuchen wir die Eigenschaften und die differenzierende Kraft induzierten Verhaltens für die Persönlichkeitsanalyse und zeigen, dass induziertes Verhalten tatsächlich Hinweise auf Persönlichkeitsmerkmale enthält.