다중 작업 학습에서 그래디언트 집약을 위한 베이지안 불확실성

머신러닝이 점점 더 주목받는 가운데, 여러 추론 작업을 동시에 수행하는 수요가 증가하고 있다. 각 작업에 별도의 모델을 배치하는 방식은 계산 비용이 매우 높기 때문에, 다중 작업 학습(Multi-Task Learning, MTL)에 대한 관심이 크게 증가하고 있다. MTL은 하나의 모델로 여러 작업을 효율적으로 해결하는 것을 목표로 한다. MTL 모델을 최적화하는 일반적인 방법은 각 작업당 하나의 그래디언트를 계산한 후, 이를 통합하여 종합적인 업데이트 방향을 도출하는 것이다. 그러나 이러한 기존 접근법은 그래디언트 차원에서의 민감도라는 중요한 측면을 고려하지 못한다. 본 연구에서는 베이지안 추론을 활용한 새로운 그래디언트 집계 방식을 제안한다. 각 작업별 파라미터에 확률 분포를 설정함으로써, 작업별 그래디언트에 대한 분포를 유도한다. 이 추가적인 정보를 통해 각 그래디언트 차원의 불확실성을 정량화할 수 있으며, 이를 그래디언트 집계 과정에 반영할 수 있다. 다양한 데이터셋을 대상으로 실증적으로 제안한 방법의 우수성을 입증하였으며, 최신 기술 수준(SOTA)의 성능을 달성하였다.