Kontextbewusste Emotionserkennungsnetze

Traditionelle Techniken zur Erkennung von Emotionen haben sich ausschließlich auf die Analyse von Gesichtsausdrücken konzentriert, was ihre Fähigkeit einschränkt, den Kontext umfassend zu kodieren, der die emotionalen Reaktionen repräsentiert. Wir stellen tiefere Netze für kontextsensible Emotionserkennung vor, die CAER-Net genannt werden und nicht nur menschliche Gesichtsausdrücke, sondern auch Kontextinformationen in einer gemeinsamen und verstärkenden Weise nutzen. Das Kernkonzept besteht darin, menschliche Gesichter in visuellen Szenen zu verbergen und andere Kontexte basierend auf einem Aufmerksamheitsmechanismus zu suchen. Unsere Netzwerke bestehen aus zwei Unter-Netzen: Zwei-Strömen-Kodierungsnetze (two-stream encoding networks), die jeweils die Merkmale von Gesichts- und Kontextbereichen extrahieren, sowie adaptive Fusionssysteme (adaptive fusion networks), die diese Merkmale auf adaptive Weise vereinen. Darüber hinaus führen wir eine neue Referenzdatensammlung für kontextsensible Emotionserkennung ein, die als CAER bezeichnet wird und sowohl qualitativ als auch quantitativ besser geeignet ist als existierende Referenzdatensammlungen. An mehreren Benchmarks zeigt CAER-Net die Wirkung des Kontextes für die Emotionserkennung. Unser Datensatz ist unter http://caer-dataset.github.io verfügbar.