초록
문장 일치는 자연어 추론, 동의어 식별, 질문 응답 등 다양한 자연어 작업에서 널리 사용됩니다. 이러한 작업들은 두 문장 간의 논리적 및 의미적 관계를 이해해야 하는데, 이는 여전히 어려운 문제입니다. 주의 메커니즘은 의미적 관계를 포착하고 두 문장의 요소들을 적절히 맞추는 데 유용하지만, 기존의 주의 메커니즘 방법들은 단순히 합산 연산을 사용하여 원래 특징을 충분히 유지하지 못했습니다. DenseNet(밀집 연결된 컨볼루션 네트워크)에서 영감을 받아, 우리는 각 층이 주의 특징 정보와 모든 선행 재귀층의 은닉 특징을 연결한 정보를 사용하는 밀집 연결된 공통 주의 재귀 신경망(Dense Co-Attentive Recurrent Neural Network)을 제안합니다. 이를 통해 가장 하위 단어 임베딩 층부터 가장 상위 재귀 층까지 원래 특징과 공통 주의 특징 정보를 유지할 수 있습니다. 밀집 연결 연산으로 인해 특징 벡터 크기가 계속 증가하는 문제를 완화하기 위해, 우리는 밀집 연결 후 자동인코더(autoencoder)를 사용하는 것을 제안합니다. 우리는 제안한 아키텍처를 문장 일치와 관련된 경쟁력 있는 벤치마크 데이터셋에서 평가하였습니다. 실험 결과는 우리의 아키텍처가 재귀적이고 주의적인 특징을 유지함으로써 대부분의 작업에서 최신 성능을 달성함을 보여주었습니다.