11일 전

의미 인지 메시지 브로드캐스팅을 통한 효율적인 비지도 도메인 적응

Xin Li, Cuiling Lan, Guoqiang Wei, Zhibo Chen
의미 인지 메시지 브로드캐스팅을 통한 효율적인 비지도 도메인 적응
초록

비전 트랜스포머는 다양한 비전 작업에서 큰 잠재력을 보여주고 있다. 그러나 테스트 시 분포 변화(즉, 분포 외 데이터)가 발생할 경우, 일반화 능력이 떨어지는 문제가 불가피하게 나타난다. 이 문제를 완화하기 위해 우리는 비지도 도메인 적응(UDA)을 위한 더 정보량이 풍부하고 유연한 특징 정렬을 가능하게 하는 새로운 방법인 의미 인식 메시지 브로드캐스팅(Semantic-aware Message Broadcasting, SAMB)을 제안한다. 특히 비전 트랜스포머의 어텐션 모듈을 분석한 결과, 하나의 글로벌 클래스 토큰을 사용한 정렬 공간은 충분한 유연성을 갖추지 못하고 있음을 확인하였다. 이 공간에서는 모든 이미지 토큰과 동일한 방식으로 정보를 상호작용하지만, 각 영역의 � бог rich한 의미 정보를 무시하게 된다. 본 논문에서는 의미 인식 기반의 적응형 메시지 브로드캐스팅을 통해 정렬 특징의 풍부함을 향상시키는 것을 목표로 한다. 구체적으로, 모든 이미지 토큰으로부터 전역 정보를 집계할 수 있는 학습 가능한 그룹 토큰들을 노드로 도입하며, 서로 다른 그룹 토큰들이 각각 다른 의미 영역으로 메시지 브로드캐스팅에 적응적으로 집중하도록 유도한다. 이를 통해 메시지 브로드캐스팅은 그룹 토큰이 효과적인 도메인 정렬을 위해 더 풍부하고 다양한 정보를 학습하도록 촉진한다. 또한, 적대적 특징 정렬(Adversarial-based Feature Alignment, ADA)과 의사라벨 기반 자기학습(Pseudo-label based Self-training, PST)이 UDA에 미치는 영향을 체계적으로 분석하였다. 그 결과, ADA와 PST의 협업을 기반으로 한 단순한 두 단계 학습 전략이 비전 트랜스포머의 적응 능력을 더욱 향상시킬 수 있음을 발견하였다. DomainNet, OfficeHome, VisDA-2017에서 실시한 광범위한 실험을 통해 본 방법의 효과성을 입증하였다.

의미 인지 메시지 브로드캐스팅을 통한 효율적인 비지도 도메인 적응 | 최신 연구 논문 | HyperAI초신경