초록
다수의 관련 작업의 구조를 이해하면, 다중 작업 학습을 통해 하나 또는 모든 작업의 일반화 능력을 향상시킬 수 있다. 그러나 일반적으로 작업 간 관계를 포착하기 위해 각 작업 쌍의 조합을 함께 훈련해야 하며, 이는 매우 높은 계산 비용을 수반한다. 본 연구에서는 자동 가중치 프레임워크인 Auto-Lambda를 통해 작업 간 관계를 학습한다. 기존 방법들이 작업 간 관계를 고정된 것으로 가정하는 반면, Auto-Lambda는 그래디언트 기반의 메타 학습 프레임워크로서 작업별 가중치를 통해 연속적이고 동적인 작업 관계를 탐색할 수 있으며, 메타 손실의 수식을 통해 임의의 작업 조합을 최적화할 수 있다. 이 과정에서 검증 손실이 훈련 전반에 걸쳐 자동으로 작업 가중치에 영향을 미친다. 제안된 프레임워크를 컴퓨터 비전 및 로봇 공학 분야의 다중 작업 학습 및 보조 학습 문제에 적용한 결과, 특정 문제와 데이터 도메인에 특화된 최적화 전략과 비교해도 최첨단 성능을 달성함을 보였다. 마지막으로, Auto-Lambda가 흥미로운 학습 행동을 발견할 수 있음을 관찰하였으며, 이는 다중 작업 학습에 대한 새로운 통찰을 제공한다. 코드는 https://github.com/lorenmt/auto-lambda 에서 확인할 수 있다.