MTI-Net: 다중 스케일 작업 상호작용 네트워크를 활용한 다중 작업 학습

본 논문에서는 다중 작업 학습 환경에서 작업 정보를 응축할 때 다양한 척도에서 작업 간 상호작용을 고려하는 것이 중요하다는 점을 주장한다. 일반적인 인식과는 달리, 특정 척도에서 높은 유사성을 보이는 작업들이 다른 척도에서도 동일한 행동을 유지할 것이라고 보장할 수 없으며, 반대로도 마찬가지임을 보여준다. 본 연구는 이 발견을 바탕으로 세 가지 방식으로 새로운 아키텍처인 MTI-Net을 제안한다. 첫째, 다중 척도 다중 모달 응축 단위를 통해 각 척도에서 작업 간 상호작용을 명시적으로 모델링한다. 둘째, 특징 전파 모듈을 통해 낮은 척도에서 얻은 응축된 작업 정보를 높은 척도로 전파한다. 셋째, 모든 척도에서 얻은 개선된 작업 특징을 특징 집계 단위를 통해 통합하여 최종 각 작업에 대한 예측을 생성한다. 두 개의 다중 작업 밀도 레이블링 데이터셋을 대상으로 실시한 광범위한 실험 결과, 기존의 연구들과 달리 본 다중 작업 모델은 다중 작업 학습의 전체 잠재력을 발휘함을 입증하였다. 즉, 단일 작업 학습 대비 더 작은 메모리 사용량, 계산량 감소, 그리고 더 우수한 성능을 달성하였다. 코드는 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch.