초록
웹, 문서 또는 기타 출처에서 자동으로 수집된 대규모 병렬 코퍼스는 종종 시스템과 모델의 품질에 부정적인 영향을 미치는 많은 오염된 부분을 포함하고 있습니다. 본 논문에서는 데이터에서 자주 발견되는 문제점들과 이러한 데이터가 신경 기계 번역 시스템에 미치는 영향, 그리고 이를 식별하고 처리하는 방법에 대해 설명합니다. 해결책은 입력 코퍼스에서 문제 있는 문장을 제거하는 일련의 스크립트로 요약됩니다.
웹, 문서 또는 기타 출처에서 자동으로 수집된 대규모 병렬 코퍼스는 종종 시스템과 모델의 품질에 부정적인 영향을 미치는 많은 오염된 부분을 포함하고 있습니다. 본 논문에서는 데이터에서 자주 발견되는 문제점들과 이러한 데이터가 신경 기계 번역 시스템에 미치는 영향, 그리고 이를 식별하고 처리하는 방법에 대해 설명합니다. 해결책은 입력 코퍼스에서 문제 있는 문장을 제거하는 일련의 스크립트로 요약됩니다.