2달 전

비지도 신경망 텍스트 단순화

Sai Surya; Abhijit Mishra; Anirban Laha; Parag Jain; Karthik Sankaranarayanan
비지도 신경망 텍스트 단순화
초록

이 논문은 비지도 신경망 텍스트 단순화에 대한 첫 시도를 제시하며, 이는 라벨이 부착되지 않은 텍스트 코퍼스만을 활용합니다. 핵심 프레임워크는 공유 인코더와 주의 메커니즘 디코더 쌍으로 구성되며, 단순화 지식을 차별 손실(discrimination-based losses)과 노이즈 제거(denoising)를 통해 획득합니다. 이 프레임워크는 en-Wikipedia 덤프에서 수집된 라벨이 없는 텍스트를 사용하여 훈련되었습니다. 공개 테스트 데이터에 대한 우리의 분석(정량적 및 정성적 분석으로 인간 평가자 포함)은 제안된 모델이 어휘 수준과 문법 구조 수준에서 모두 텍스트 단순화를 수행할 수 있으며, 기존의 지도 방법들과 경쟁할 수 있음을 보여줍니다. 몇 개의 라벨이 부착된 쌍을 추가하면 성능이 더욱 개선됩니다.