11일 전

클래스 증분 학습을 위한 Co-Transport

Da-Wei Zhou, Han-Jia Ye, De-Chuan Zhan
클래스 증분 학습을 위한 Co-Transport
초록

전통적인 학습 시스템은 고정된 클래스 수에 대해 폐쇄 세계(클로저드 월드)에서 학습되며, 사전에 수집된 데이터셋이 필요하다. 그러나 실세계 응용 상황에서는 새로운 클래스가 자주 등장하고, 이러한 클래스는 점진적으로 학습되어야 한다. 예를 들어, 전자상거래에서는 매일 새로운 제품 유형이 등장하고, 소셜 미디어 커뮤니티에서는 자주 새로운 주제가 등장한다. 이러한 상황에서 점진적 학습 모델은 기존 지식을 잊지 않으면서 동시에 여러 새로운 클래스를 동시에 학습해야 한다. 우리는 점진적 학습에서 기존 클래스와 새로운 클래스 사이에 강한 상관관계가 있음을 발견하였으며, 이는 서로 다른 학습 단계 간에 상호 연결하고 촉진하는 데 활용될 수 있다. 이를 바탕으로 우리는 클래스 점진적 학습을 위한 CO-transport 기반 방법(COIL, Class-wise Incremental Learning with CO-transport)을 제안한다. COIL은 클래스별 의미적 관계를 기반으로 점진적 작업 간의 관계를 학습한다. 구체적으로 CO-transport는 두 가지 측면을 포함한다. 선제적 운반(prospective transport)은 기존 분류기를 최적의 전송된 지식으로 보강하여 빠른 모델 적응을 도모한다. 후행적 운반(retrospective transport)은 새로운 클래스 분류기를 이전 클래스처럼 역방향으로 전송함으로써 기억 상실을 완화한다. 이러한 두 가지 운반 메커니즘을 통해 COIL은 새로운 작업에 효율적으로 적응할 수 있으며, 지식 소실을 안정적으로 방지할 수 있다. 기준 데이터셋 및 실세계 멀티미디어 데이터셋에서 수행한 실험을 통해 제안한 방법의 효과성을 검증하였다.

클래스 증분 학습을 위한 Co-Transport | 최신 연구 논문 | HyperAI초신경