초록
시퀀스-투-시퀀스(seq2seq) 모델링은 빠르게 중요한 일반적인 자연어 처리(NLP) 도구로 자리 잡았으며, 많은 텍스트 생성 및 시퀀스 라벨링 작업에서 효과성을 입증하였습니다. seq2seq는 깊은 신경망 언어 모델링을 기반으로 하며, 로컬 단어 분포를 추정하는 데 있어 뛰어난 정확성을 상속합니다. 본 연구에서는 Daume III와 Marcu(2005)의 연구를 바탕으로 전역 시퀀스 점수를 학습할 수 있는 seq2seq 확장 모델과 비ーム 검색 훈련 방식을 소개합니다. 이 구조적 접근 방식은 로컬 훈련과 관련된 고전적인 편향을 피하고, 테스트 시 사용법과 훈련 손실을 통합하면서 seq2seq의 입증된 모델 아키텍처와 효율적인 훈련 방법을 유지합니다. 우리는 세 가지 다른 시퀀스-투-시퀀스 작업인 단어 순서 조정, 파싱, 그리고 기계 번역에서 우리 시스템이 최적화된 어텐션 기반 seq2seq 시스템과 다른 베이스라인들보다 우수한 성능을 보임을 증명하였습니다.