11일 전

Transformers는 단문 분류기이다: 벤치마크 및 실세계 데이터셋에서의 유도적 단문 분류기 연구

Fabian Karl, Ansgar Scherp
Transformers는 단문 분류기이다: 벤치마크 및 실세계 데이터셋에서의 유도적 단문 분류기 연구
초록

단문 분류는 자연어 처리 분야에서 핵심적이면서도 도전적인 과제이다. 이러한 이유로 다양한 전문화된 단문 분류기들이 개발되어 왔다. 그러나 최근의 단문 연구에서 기존 텍스트 분류에 대한 최첨단(SOTA) 기법, 특히 순수한 트랜스포머(Transformer)의 활용은 여전히 제대로 탐색되지 않았다. 본 연구에서는 다양한 단문 분류기와 최고 성능을 보인 전통적 텍스트 분류기의 성능을 평가하고, 특성 수가 제한된 벤치마크 데이터셋에 대한 과도한 의존 문제를 해결하기 위해 두 개의 새로운 실세계 단문 데이터셋을 활용하여 그 영향을 탐구한다. 실험 결과는 트랜스포머가 단문 분류 과제에서 SOTA 정확도를 달성함을 명확히 보여주며, 전용 단문 기법의 필요성에 대한 질문을 제기한다.

Transformers는 단문 분류기이다: 벤치마크 및 실세계 데이터셋에서의 유도적 단문 분류기 연구 | 최신 연구 논문 | HyperAI초신경