초록
많은 작업, 특히 언어 생성을 포함하여, 출력 공간의 구조를 학습하는 것이 유익합니다. 이는 출력 라벨의 공간이 크고 데이터가 희소할 때 특히 그렇습니다. 최신 신경망 언어 모델은 출력 라벨 간에 매개변수 공유가 이루어지지 않기 때문에 분류기 가중치에서 출력 공간 구조를 간접적으로 포착합니다. 공유된 출력 라벨 매핑을 학습하는 것이 도움이 되지만, 기존 방법들은 표현력이 제한적이고 과적합에 취약합니다. 본 논문에서는 더 강력한 공유 매핑의 유용성을 조사하고, 층 사이에서 드롭아웃을 사용한 깊은 잔여 출력 매핑을 제안하여 출력 공간의 구조를 더 잘 포착하고 과적합을 피하도록 합니다. 세 가지 언어 생성 작업에 대한 평가 결과, 제안된 출력 라벨 매핑이 최신 순환 및 자기 주목 아키텍처와 맞먹거나 개선될 수 있음을 보여주며, 자연어를 더 잘 모델링하기 위해서는 분류기가 반드시 고차원일 필요는 없으며, 출력 공간의 구조를 더 잘 포착할 수 있어야 함을 시사합니다.(Deep Residual Output Mapping: 깊은 잔여 출력 매핑 / Dropout: 드롭아웃)