Lernen von Grimassen durch das Schauen von Fernsehen

Im Gegensatz zu Computer-Vision-Systemen, die explizite Überwachung benötigen, können Menschen durch das Beobachten von Personen in ihrer Umgebung Gesichtsausdruck lernen. In dieser Arbeit untersuchen wir, wie ähnliche Fähigkeiten in der Maschinenvision entwickelt werden könnten. Als Ausgangspunkt betrachten wir das Problem der Zuordnung von Gesichtsausdrücken zu objektiv messbaren Ereignissen, die in Videos auftreten. Insbesondere betrachten wir eine Quizshow, bei der die Teilnehmer um erhebliche Geldsummen spielen. Wir extrahieren Ereignisse, die das Spiel beeinflussen, und entsprechende Gesichtsausdrücke aus den Videos objektiv und automatisch, wodurch wir große Mengen an annotierten Daten für unsere Studie erhalten. Darüber hinaus entwickeln wir unter Verwendung von Benchmarks wie FER (Facial Expression Recognition) und SFEW 2.0 (Static Facial Expressions in the Wild) state-of-the-art tiefe Neuronale Netze zur Erkennung von Gesichtsausdrücken und zeigen, dass ein Vortraining auf Daten zur Gesichtserkennung für diese Aufgabe sehr vorteilhaft sein kann. Anschließend erweitern wir diese Modelle, um mit Hilfe von Gesichtsausdrücken Ereignisse in Videos vorherzusagen und benannte Ausdrucksformen daraus zu lernen. Der Datensatz und die Emotionserkennungsmodelle sind unter http://www.robots.ox.ac.uk/~vgg/data/facevalue verfügbar.