초록
본 연구에서는 차별적 모델 학습을 위한 두 방향 주의 메커니즘인 Attentive Pooling (AP)을 제안합니다. 신경망을 이용한 쌍별 순위 결정이나 분류의 맥락에서, AP는 풀링 레이어가 현재 입력 쌍에 대해 인식할 수 있도록 하며, 두 입력 항목의 정보가 서로의 표현 계산에 직접적으로 영향을 미칠 수 있게 합니다. 이러한 쌍별 입력 표현과 함께, AP는 쌍의 투영된 구간(예: 삼문자 그램) 간 유사성 측정치를 공동으로 학습하고, 이어서 각 입력에 대한 해당 주의 벡터를 도출하여 풀링을 안내합니다. 우리의 두 방향 주의 메커니즘은 기저 표현 학습과 독립적인 일반적 프레임워크이며, 본 연구에서는 컨볼루션 신경망(CNNs)과 순환 신경망(RNNs) 모두에 적용되었습니다. 세 가지 매우 다른 질문 응답/답변 선택 벤치마크 작업에서 얻은 경험적 결과는 제안된 모델들이 다양한 강력한 기준모델들을 능가하며 모든 벤치마크에서 최고 수준의 성능을 달성함을 보여줍니다.