다중 작업 학습을 협상 게임으로서 접근하기

다중 작업 학습(Multi-task learning, MTL)에서는 여러 작업에 대한 예측을 동시에 수행할 수 있도록 하나의 공동 모델을 훈련한다. 공동 훈련은 계산 비용을 줄이고 데이터 효율성을 향상시키는 장점이 있으나, 서로 다른 작업들 간의 기울기(gradinet)가 상충될 수 있기 때문에, MTL을 위한 공동 모델 훈련은 단일 작업 학습 모델에 비해 성능이 낮아지는 경우가 종종 발생한다. 이러한 문제를 완화하기 위한 일반적인 방법은 특정 휴리스틱을 사용하여 각 작업의 기울기를 조합하여 공동 업데이트 방향을 도출하는 것이다. 본 논문에서는 이러한 기울기 조합 단계를 협상 게임(bargaining game)으로 간주하는 새로운 관점을 제안한다. 여기서 각 작업은 파라미터 업데이트의 공동 방향에 대해 합의에 이르기 위해 상호 협상한다. 일정한 가정 하에 이 협상 문제는 유일한 해를 가지며, 이를 나시 협상 해(Nash Bargaining Solution)라 한다. 본 논문에서는 이러한 나시 협상 해를 다중 작업 학습에 대한 체계적인 접근법으로 제안한다. 또한 새로운 MTL 최적화 절차인 Nash-MTL을 제시하고, 그 수렴에 대한 이론적 보장을 도출한다. 실증적으로는 Nash-MTL이 다양한 분야에서 여러 MTL 벤치마크에서 최신 기준(SOTA, state-of-the-art) 성능을 달성함을 보여준다.