Ada-Segment: 패노픽 세그멘테이션을 위한 자동화된 다중 손실 적응

패널픽 세그멘테이션(panoptic segmentation)은 인스턴스 세그멘테이션과 세멘틱 세그멘테이션을 통합하는 기법으로 최근 점점 더 많은 주목을 받고 있다. 기존 대부분의 방법들은 새로운 아키텍처 설계에 집중하는 반면, 본 연구는 다른 관점을 제시한다. 즉, 학습 동역학을 포착할 수 있도록 훈련된 컨트롤러를 활용해, 훈련 중에 실시간으로 다중 손실을 자동으로 적응시키는 방식(이를 Ada-Segment이라 명명)을 제안한다. 이 접근법은 몇 가지 장점을 제공한다. 첫째, 패널픽 세그멘테이션의 성능을 좌우하는 중요한 요소인 민감한 손실 조합의 수동 튜닝을 회피할 수 있다. 둘째, 학습 동역학을 명시적으로 모델링할 수 있으며, 최대 10개까지의 다양한 학습 목표 간의 균형을 효과적으로 조율할 수 있다. 셋째, 엔드 투 엔드 아키텍처를 채택함으로써, 하이퍼파라미터 재조정이나 훈련 프로세스의 반복적 조정 없이도 다양한 데이터셋에 일반화할 수 있다. 제안한 Ada-Segment은 기준 모델 대비 COCO 검증 세트에서 패널픽 품질(PQ)을 2.7% 향상시켰으며, COCO test-dev 세트에서는 최신 기준인 48.5%의 PQ를 달성했고, ADE20K 데이터셋에서는 32.9%의 PQ를 기록했다. 광범위한 실험적 분석을 통해 훈련 과정 전반에 걸쳐 학습 동역학이 지속적으로 변화함을 확인할 수 있었으며, 본 논문에서 제안한 자동적이고 적응형 학습 전략의 필요성이 명확히 입증되었다.