깊은 중점부호화: 개선된 아랍어 중점부호화를 위한 효율적인 계층적 반복

우리는 Tashkeela 아랍어 발음 부호화 벤치마크에서 최고 수준의 성능을 달성하는 새로운 아키텍처를 제안합니다. 이 아키텍처의 핵심은 단어와 문자 수준을 각각 독립적으로 처리하는 두 단계의 재귀 계층 구조로, 이는 유사한 전통적인 모델들보다 빠른 훈련과 추론을 가능하게 합니다. 크로스-레벨 주의 모듈은 이를 더욱 연결시키며, 네트워크 해석성을 열어줍니다. 작업 모듈은 발음 부호들의 유효한 조합을 열거하는 소프트맥스 분류기입니다. 이 아키텍처는 부분적으로 발음 부호가 부착된 텍스트에서 사전 정보를 선택적으로 받아들일 수 있는 재귀 디코더로 확장될 수 있으며, 이는 결과를 개선시킵니다. 우리는 문장 드롭아웃과 다수결 투표 등의 추가 기법들을 사용하여 최종 결과를 더욱 향상시킵니다. 우리의 최고 모델은 WER(단어 오류율) 5.34%를 달성하며, 이전 최고 수준의 모델에 비해 상대적인 오류 감소율 30.56%를 기록하였습니다.