2달 전

단어 또는 문자? 읽기 이해를 위한 세부 조정 게이팅

Zhilin Yang; Bhuwan Dhingra; Ye Yuan; Junjie Hu; William W. Cohen; Ruslan Salakhutdinov
단어 또는 문자? 읽기 이해를 위한 세부 조정 게이팅
초록

이전 연구에서는 단어 수준과 문자 수준 표현을 연결(concatenation) 또는 스칼라 가중(scalar weighting)을 사용하여 결합하였는데, 이는 독해와 같은 고수준 작업에 비효율적입니다. 본 논문에서는 단어의 특성을 기반으로 단어 수준과 문자 수준 표현을 동적으로 결합하기 위한 세부적인 게이팅 메커니즘을 제시합니다. 또한, 독해를 위한 질문과 문단 간의 상호작용 모델링에 세부적인 게이팅 아이디어를 확장하였습니다. 실험 결과, 우리의 접근 방식은 독해 작업의 성능을 향상시키며, 어린이 책 테스트(Children's Book Test) 데이터셋에서 새로운 최고 성능(new state-of-the-art results)을 달성하였습니다. 우리의 게이팅 메커니즘이 일반적임을 보여주기 위해, 소셜 미디어 태그 예측 작업에서도 개선된 결과를 보였습니다.

단어 또는 문자? 읽기 이해를 위한 세부 조정 게이팅 | 최신 연구 논문 | HyperAI초신경