Verteilungsmatching für heterogenes Multi-Task-Lernen: Eine umfangreiche Gesichtsstudie

Das Multi-Task-Lernen (MTL) ist als Methode hervorgetreten, bei der mehrere Aufgaben durch einen gemeinsamen Lernalgorithmus, wie z.B. ein tiefes neuronales Netzwerk (DNN), gleichzeitig gelernt werden. MTL basiert auf der Annahme, dass die betrachteten Aufgaben miteinander verwandt sind; es nutzt daher gemeinsames Wissen, um die Leistung bei jeder einzelnen Aufgabe zu verbessern. Aufgaben werden in der Regel als homogen angesehen, d.h., sie beziehen sich auf das gleiche Problem. Darüber hinaus basiert MTL in der Regel auf Grundwahrheitsannotierungen mit vollständigem oder teilweise überlappendem Umfang über die Aufgaben hinweg. In dieser Arbeit befassen wir uns mit heterogenem MTL und adressieren gleichzeitig Detektions-, Klassifikations- und Regressionsprobleme. Wir untersuchen die Aufgabenverwandtschaft als Mittel zur Co-Training von Aufgaben, die nur wenig oder sogar nicht überlappende Annotationen enthalten, auf schwach überwachte Weise. Die Aufgabenverwandtschaft wird im MTL entweder explizit durch vorheriges Expertenwissen oder durch datengesteuerte Studien eingeführt.Wir schlagen einen neuen Ansatz zur Verteilungsmatching vor, bei dem zwischen den Aufgaben ein Wissensaustausch ermöglicht wird, indem ihre Vorhersageverteilungen abgestimmt werden. Basierend auf diesem Ansatz bauen wir FaceBehaviorNet, den ersten Rahmen für groß angelegte Gesichtsanalysen, indem wir alle Aspekte des Gesichtsverhaltens gleichzeitig lernen. Wir entwickeln Fallstudien für: i) kontinuierliche Affektschätzung, Erkennung von Aktionsmustern (Action Unit Detection), grundlegendes Emotionserkennen; ii) Attributserkennung und Gesichtserkennung.Wir zeigen, dass das Co-Training durch die Aufgabenverwandtschaft negative Transferphänomene mildert. Da FaceBehaviorNet Merkmale lernt, die alle Aspekte des Gesichtsverhaltens umfassen, führen wir Zero-Shot- und Few-Shot-Lernversuche durch, um Aufgaben zu lösen, für die es nicht speziell trainiert wurde, wie z.B. die Erkennung komplexer Emotionen (compound emotion recognition). Durch eine sehr umfangreiche experimentelle Studie unter Verwendung von 10 Datenbanken illustrieren wir, dass unser Ansatz in allen Aufgaben und in allen Datenbanken erheblich besser abschneidet als der aktuelle Stand der Technik – auch in solchen Datenbanken, die nicht für seine Ausbildung verwendet wurden.