Das Lernen aus Beziehungen zwischen Labels in menschlichen Emotionen

Die automatische Schätzung menschlicher Affekte und mentaler Zustände steht vor einer Reihe von Herausforderungen, darunter das Lernen aus Etiketten mit geringer oder keiner zeitlichen Auflösung, das Lernen aus wenigen Datensätzen mit wenig Daten (häufig aufgrund von Vertraulichkeitsbedingungen) und sehr langen, im echten Leben aufgenommenen Videos. Aus diesen Gründen neigen tiefere Lernmethoden dazu, überangepasst zu werden, d. h., sie erzielen latente Darstellungen mit schlechter Generalisierungsfähigkeit bei der endgültigen Regressionsaufgabe. Um dies zu überwinden, präsentieren wir in dieser Arbeit zwei ergänzende Beiträge. Erstens führen wir einen neuen relationalen Verlust für Multietikett-Regression und ordinale Probleme ein, der das Lernen reguliert und zu besseren Generalisierungsergebnissen führt. Der vorgeschlagene Verlust nutzt die Interrelationsinformation der Etikettenvektoren, um durch Angleichung der Batch-Etikettenabstände zu den Abständen im latenten Merkmalsraum bessere latente Darstellungen zu lernen. Zweitens nutzen wir eine zweistufige Aufmerksamkeitsarchitektur, die für jeden Clip ein Ziel schätzt, indem es Merkmale aus benachbarten Clips als zeitlichen Kontext verwendet. Wir evaluieren die vorgeschlagene Methodologie sowohl bei kontinuierlichen Affektschätzungen als auch bei der Schätzung der Schweregrads von Schizophrenie, da zwischen beiden methodologische und kontextuelle Parallelen bestehen. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methodologie alle Baseline-Methoden übertrifft. Im Bereich der Schizophrenie erreicht die vorgeschlagene Methodologie eine PCC von bis zu 78 %, was dem Leistungsniveau menschlicher Experten (85 %) nahe kommt und deutlich höher ist als frühere Arbeiten (Steigerung von bis zu 40 %). Im Fall der Affekerkenntnis übertreffen wir frühere bildbasierte Methoden in Bezug auf den CCC sowohl im OMG- als auch im AMIGOS-Datensatz. Insbesondere beim AMIGOS-Datensatz übertreffen wir die bisher besten CCC-Werte für Arousal und Valenz jeweils um 9 % und 13 %. Im OMG-Datensatz übertreffen wir frühere bildbasierte Arbeiten jeweils um bis zu 5 % für Arousal und Valenz.Anmerkungen:- "PCC" steht für "Pearson Correlation Coefficient".- "CCC" steht für "Concordance Correlation Coefficient".- "OMG" bezieht sich auf den Datensatz "OMG Emotion Challenge".- "AMIGOS" bezieht sich auf den Datensatz "Affective Multimedia Information Gathering for Objective Sensing".