Cr-Net: Ein tiefes Klassifikations-Regressions-Netzwerk für die multimodale scheinbare Persönlichkeitsanalyse

Erste Eindrücke beeinflussen soziale Interaktionen stark und haben erheblichen Einfluss auf das persönliche und berufliche Leben. In diesem Paper präsentieren wir ein tiefes Klassifikations-Regression-Netzwerk (CR-Net), das zur Analyse des Big-Five-Persönlichkeitsproblems eingesetzt wird und zudem bei der Empfehlung von Arbeitsinterviews im Kontext erster Eindrücke unterstützt. Die Studienbasis bildet der ChaLearn First Impressions-Datensatz, der multimodale Daten aus Video, Audio und Text (aus der entsprechenden Audioquelle extrahiert) enthält, wobei jede Person vor einer Kamera spricht. Um eine umfassende Vorhersage zu ermöglichen, analysieren wir die Videos sowohl aus der Gesamtszene (einschließlich der Bewegungen der Person und des Hintergrunds) als auch aus dem Gesichtsbereich der Person. Unser CR-Net führt zunächst eine Klassifikation der Persönlichkeitsmerkmale durch und wendet anschließend eine Regression an, wodurch präzise Vorhersagen sowohl für Persönlichkeitsmerkmale als auch für Interviewempfehlungen erzielt werden können. Darüber hinaus stellen wir eine neue Verlustfunktion namens Bell Loss vor, um ungenaue Vorhersagen zu korrigieren, die durch das Problem der Regression zur Mitte (regression-to-the-mean) verursacht werden. Umfangreiche Experimente am First Impressions-Datensatz belegen die Wirksamkeit des vorgeschlagenen Netzwerks und zeigen, dass es die aktuell besten Ansätze übertroffen hat.