2달 전

완전 주의 기반 정보 검색기

Alvaro Henrique Chaim Correia; Jorge Luiz Moreira Silva; Thiago de Castro Martins; Fabio Gagliardi Cozman
완전 주의 기반 정보 검색기
초록

순환 신경망은 문맥 표현을 풍부하게 구축하고 임의의 길이의 텍스트를 처리할 수 있기 때문에 자연어 처리 분야에서 현재 최고의 기술로 자리잡고 있습니다. 그러나 최근 주목 메커니즘에 대한 발전으로 인해 피드포워드 네트워크도 유사한 능력을 갖추게 되었으며, 이는 병렬화할 수 있는 연산 횟수 증가로 인해 더 빠른 계산을 가능케 하였습니다. 우리는 이 새로운 아키텍처를 질문 응답 분야에서 탐구하고, 이를 '완전 주목 기반 정보 검색기(Fully Attention Based Information Retriever, FABIR)'라고 명명한 새로운 접근 방식을 제안합니다. 우리는 FABIR이 스탠퍼드 질문 응답 데이터셋(Stanford Question Answering Dataset, SQuAD)에서 경쟁력 있는 결과를 달성하면서도 파라미터 수가 적고 학습 및 추론 속도가 경쟁 모델보다 빠르다는 것을 보여줍니다.

완전 주의 기반 정보 검색기 | 최신 연구 논문 | HyperAI초신경