Die Erkennung von Gesichtsausdrücken ist aufgrund der erheblichen Unterschiede in den Gesichtsstrukturen zwischen Individuen sowie der Ambiguität der dargestellten Emotionen inhärent schwierig. In letzter Zeit wird in der Forschung zu Gesichtsausdruckserkennung viel Arbeit geleistet, wobei die Leistung von Convolutional Neural Networks (CNNs) für diese Aufgabe bisher hinter den Ergebnissen zurückbleibt, die CNNs in anderen Bereichen wie Objekterkennung oder Gesichtserkennung erzielt haben. In diesem Paper stellen wir einen Mehraufgaben-Lernansatz vor, bei dem eine einzelne CNN gleichzeitig das Geschlecht, das Alter und die Rasse einer Person sowie deren Emotion erkennt. Wir validieren diese Methode anhand zweier Datensätze mit realen Bildern aus der Praxis. Die Ergebnisse zeigen, dass dieser Ansatz signifikant besser abschneidet als die derzeitigen State-of-the-Art-Algorithmen für diese Aufgabe.