이질적 다중 작업 학습을 위한 분포 매칭: 대규모 얼굴 연구

다중 작업 학습(Multi-Task Learning, MTL)은 공유된 학습 알고리즘(예: DNN)을 사용하여 여러 작업을 동시에 학습하는 방법론으로 부각되었습니다. MTL은 고려 중인 작업들이 서로 관련이 있다는 가정에 기반하며, 이로 인해 각 개별 작업의 성능 향상을 위해 공유된 지식을 활용합니다. 일반적으로 작업들은 동질적(homogeneous)으로 간주되며, 즉 같은 유형의 문제를 참조한다고 봅니다. 또한, MTL은 대부분 전체 또는 부분적으로 작업 간에 겹치는 정답 주석(ground truth annotations)을 기반으로 합니다. 본 연구에서는 탐지(detection), 분류(classification), 회귀(regression) 문제를 동시에 다루는 이종 다중 작업 학습(heterogeneous MTL)을 다룹니다. 우리는 약간 또는 전혀 겹치지 않는 주석(annotation)을 포함하는 작업들을 약간 감독된 방식으로 공동 학습(co-training)하기 위한 수단으로 작업 관련성(task-relatedness)을 탐구합니다. 작업 관련성은 사전 전문가 지식(prior expert knowledge)을 통해 명시적으로 도입되거나 데이터 주도적인 연구(data-driven studies)를 통해 도입됩니다.우리는 새로운 분포 매칭 접근법(distribution matching approach)을 제안하여, 예측 분포(prediction distributions)의 매칭(matching)을 통해 작업들 사이에서 지식 교환이 가능하도록 합니다. 이 접근법에 기반하여, 모든 얼굴 행동(facial behavior) 작업을 공동 학습(joint learning)하는 최초의 대규모 얼굴 분석(facial analysis) 프레임워크인 FaceBehaviorNet을 구축했습니다. 우리는 다음과 같은 사례 연구(case studies)를 개발하였습니다: i) 연속적인 감정 추정(continuous affect estimation), 행동 단위 탐지(action unit detection), 기본 감정 인식(basic emotion recognition); ii) 속성 탐지(attribute detection), 얼굴 식별(face identification).작업 관련성을 통한 공동 학습(co-training)이 부정적 전이(negative transfer)를 완화한다는 점을 보여주기 위해, FaceBehaviorNet이 모든 얼굴 행동 측면을 포괄하는 특징(features)을 학습하기 때문에, 복합 감정 인식(compound emotion recognition)과 같이 훈련되지 않은 작업들을 수행하기 위한 제로 샷(zero-shot)/파우 샷(few-shot) 학습(zero-/few-shot learning)을 수행하였습니다. 10개의 데이터베이스를 이용한 매우 큰 규모의 실험 연구를 통해 우리의 접근법이 모든 작업과 모든 데이터베이스에서 현저히 우수한 성능을 보였으며, 특히 훈련에 사용되지 않았던 데이터베이스에서도 state-of-the-art보다 크게 우월함을 입증하였습니다.