9일 전

다양한 모달 간 교대 학습을 통한 태스크 인지 표현을 활용한 지속적 학습

{Bin-Bin Gao}
초록

지속적 학습은 인공 신경망 분야에서 인간의 평생 학습 능력을 모사하기 위한 연구 분야이다. 비록 최근의 많은 연구가 상당한 성능을 달성하고 있으나, 대부분은 증강 이미지 인식 작업에 있어 이미지 모달리티에만 의존하고 있다. 본 논문에서는 시각적 정보와 언어적 정보를 효과적으로 활용하여 보다 효과적인 지속적 학습을 달성하기 위해, 다모달 교차 학습을 통한 작업 인식형 표현(Alternating Learning with Task-Aware representations, ALTA)이라는 새로운 그러나 효과적인 프레임워크를 제안한다. 이를 위해 ALTA는 이미지와 텍스트 표현을 동시에 학습함으로써 더 효과적인 감독을 제공하는 다모달 공동 학습 메커니즘을 제안한다. 또한, 작업 인식형 표현을 부여함으로써 지속적 학습 능력을 갖추어 기존 지식의 소실(잊음)을 완화한다. 동시에 안정성과 유연성 사이의 역설적 갈등을 고려하여, ALTA는 작업 인식형 다모달 표현을 교차적으로 학습하는 전략을 제안함으로써, 다양한 작업 간의 이미지-텍스트 쌍을 보다 잘 매칭할 수 있도록 하여 지속적 학습 능력을 더욱 강화한다. 다양한 인기 있는 이미지 분류 벤치마크에서 광범위한 실험을 수행한 결과, 제안한 방법이 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였다. 동시에 체계적인 아블레이션 연구 및 시각화 분석을 통해 본 방법의 효과성과 타당성을 검증하였다. ALTA의 코드는 다음 URL에서 공개되어 있다: https://github.com/vijaylee/ALTA.