Protoformer: Transformers를 위한 프로토타입 임베딩

Transformers는 텍스트 분류 분야에서 널리 적용되어 왔다. 그러나 현실 세계의 데이터는 이상치와 노이즈가 있는 레이블을 포함하고 있어 최신 기술 기반의 Transformers에 도전 과제를 제기한다. 본 논문은 텍스트 분류를 위해 문제 있는 샘플을 활용할 수 있는 새로운 자기학습 프레임워크인 Protoformer을 제안한다. Protoformer은 임베딩 샘플에 대한 선택 메커니즘을 갖추고 있어, 이상치 프로토타입과 어려운 클래스 프로토타입을 효율적으로 추출하고 활용할 수 있다. 우리는 다양한 텍스트 구조를 가진 데이터셋(예: Twitter, IMDB, ArXiv)에서 이러한 능력을 입증하였다. 또한 본 프레임워크를 여러 모델에 적용한 결과, Protoformer이 다양한 실증 환경에서 기존 Transformers의 성능을 향상시킬 수 있음을 확인하였다.