초록
다중 작업 학습에서 여러 작업은 공동으로 해결되며, 이들 사이에 귀납적 편향을 공유합니다. 다중 작업 학습은 서로 다른 작업이 충돌할 수 있으므로 본질적으로 다목적 최적화 문제입니다. 이는 상호 양보가 필요함을 의미합니다. 일반적인 타협 방법은 각 작업의 손실을 가중치로 결합한 선형 조합을 최소화하는 대리 목적 함수를 최적화하는 것입니다. 그러나 이 방법은 작업 간 경쟁이 없는 경우에만 유효하며, 실제로는 드문 경우입니다. 본 논문에서는 다중 작업 학습을 명시적으로 다목적 최적화로 설정하며, 전반적인 목표는 파레토 최적해를 찾는 것입니다. 이를 위해 그래디언트 기반 다목적 최적화 문헌에서 개발된 알고리즘들을 사용합니다. 이러한 알고리즘들은 그래디언트의 차원과 작업 수에 따라 성능이 크게 저하되기 때문에 대규모 학습 문제에는 직접적으로 적용할 수 없습니다. 따라서 우리는 다목적 손실의 상한 bound를 제안하고, 이를 효율적으로 최적화할 수 있음을 보여줍니다. 또한 현실적인 가정 하에서 이 상한 bound를 최적화하면 파레토 최적해를 얻을 수 있음을 증명하였습니다. 우리는 우리의 방법을 숫자 분류, 장면 이해(동시 의미 분할, 인스턴스 분할 및 깊이 추정), 그리고 다중 라벨 분류 등 다양한 다중 작업 딥러닝 문제에 적용하였습니다. 우리의 방법은 최근의 다중 작업 학습 접근법이나 각각의 작업별 훈련보다 더 우수한 성능을 내는 모델을 생성하였습니다.