9일 전

긴 꼬리 시각 인식을 위한 중첩된 협업 학습

Jun Li, Zichang Tan, Jun Wan, Zhen Lei, Guodong Guo
긴 꼬리 시각 인식을 위한 중첩된 협업 학습
초록

같은 학습 설정에서도 긴 꼬리 분포 데이터셋으로 훈련된 네트워크 간에 큰 차이가 나타나는 것으로 보아, 긴 꼬리 학습에서의 불확실성이 매우 크다는 것을 알 수 있다. 이러한 불확실성을 완화하기 위해, 다수의 전문가(expert)를 공동으로 학습함으로써 문제를 해결하는 내재적 협업 학습(Nested Collaborative Learning, NCL)을 제안한다. NCL는 각 개별 전문가에 대한 개별적 지도 학습에 초점을 맞춘 내재적 개별 학습(Nested Individual Learning, NIL)과 다수 전문가 간 지식 전이를 담당하는 내재적 균형 온라인 디스틸레이션(Nested Balanced Online Distillation, NBOD)이라는 두 가지 핵심 구성 요소로 구성된다. 더 깊이 있는 표현 학습을 위해 NIL과 NBOD 모두 내재적 구조를 채택하여, 전체 카테고리에 대한 전반적 관점뿐만 아니라 일부 어려운 카테고리에 대한 부분적 관점에서 학습을 수행한다. 부분적 관점에서의 학습을 위해, 본 연구에서는 제안한 어려운 카테고리 탐색(Hard Category Mining, HCM) 기법을 활용하여 예측 점수가 높은 부정 카테고리를 어려운 카테고리로 특별히 선정한다. NCL에서는 두 관점에서의 학습이 내재적으로 중첩되며, 서로 밀접하게 연관되고 보완적으로 작용하여, 네트워크가 전반적이고 강건한 특징뿐만 아니라 세밀한 구분 능력까지도 학습할 수 있도록 돕는다. 더불어, 특징 강화를 위해 자율 지도 학습(self-supervision) 기법을 추가로 도입한다. 광범위한 실험 결과는 제안한 방법이 단일 모델 또는 앙상블 모두에서 최신 기술(SOTA)을 초월함을 입증하며, 본 방법의 우수성을 명확히 보여준다.

긴 꼬리 시각 인식을 위한 중첩된 협업 학습 | 최신 연구 논문 | HyperAI초신경