도전적인 NLP 응용 프로그램을 위한 확장성과 신뢰성을 갖춘 캡슐 네트워크 연구

캡슐 네트워크의 발전을 저해하는 어려운 자연어 처리(NLP) 응용 프로그램에 대한 장애물에는 대규모 출력 공간으로의 확장성 부족과 신뢰성이 떨어지는 라우팅 과정이 포함됩니다. 본 논문에서는 다음과 같은 방법들을 제안합니다: 1) 인스턴스 수준에서 라우팅 과정의 성능을 평가하기 위한 일치도 점수(Agreement Score); 2) 라우팅의 신뢰성을 향상시키기 위한 적응형 최적화 알고리즘(Adaptive Optimizer); 3) 캡슐 압축(Capsule Compression) 및 부분 라우팅(Partial Routing)을 통한 캡슐 네트워크의 확장성 개선. 우리는 다중 레이블 텍스트 분류와 질문 응답이라는 두 가지 NLP 작업에서 우리의 접근 방식을 검증하였습니다. 실험 결과, 우리의 접근 방식은 두 작업 모두에서 강력한 경쟁자들보다 크게 우위를 보였습니다. 또한, 적은 학습 인스턴스로 이루어진 저자원 환경에서도 최고의 성능을 달성하였습니다.