초록
우리는 잔차 네트워크와 신경망 주의 메커니즘을 다중 인수 채굴 작업에 활용하는 방법을 탐구합니다. 우리는 문서나 인수 구조에 대한 가정 없이 주의 메커니즘, 다중 작업 학습, 앙상블을 활용하는 잔차 아키텍처를 제안합니다. 다섯 가지 다른 사용자 생성 댓글, 과학 논문, 설득적 에세이 코퍼스에서 광범위한 실험 평가를 수행하였습니다. 우리의 결과는 더 높은 계산 부담이나 코퍼스 특화 설계를 가진 최신 아키텍처들에 대해 강력한 경쟁력을 보여주며, 일반성, 성능 정확성, 그리고 축소된 모델 크기 사이에서 흥미로운 균형을 이룬다는 것을 입증합니다.