
신경망 기반 필기 인식(Neural Handwriting Recognition, NHR)은 다차원 장단기 기억(Multi-Dimensional Long Short-Term Memory, MDLSTM) 재귀 신경망 등의 딥러닝 모델을 사용하여 손글씨 텍스트를 인식하는 기술입니다. MDLSTM 층을 포함한 모델들은 손글씨 텍스트 인식 작업에서 최고의 성능을 달성하였습니다. 다방향 MDLSTM 층은 모든 방향에서 완전한 문맥을 포착하는 데 뛰어난 능력을 가지고 있지만, 이 강점은 병렬화 가능성에 제약을 주며 따라서 높은 계산 비용이 발생합니다. 본 연구에서는 특히 패딩으로 인해 발생하는 계산 낭비를 제거하기 위한 방법론인 예제 패킹(example-packing)을 개발하여 효율적인 MDLSTM 기반 NHR 모델을 만드는 방법들을 제시합니다. 예제 패킹은 2차원 그리드에서 비효율적인 패딩된 예제들의 쌓임을 효율적인 타일링으로 대체합니다. 단어 기반 NHR에서는 이미 각 배치별로 최소한의 패딩만 사용하는 효율적인 베이스라인보다 6.6배 더 빠른 속도 향상을 가져옵니다. 줄기반 NHR에서는 개선 폭이 크지 않지만 여전히 중요한 성능 향상이 이루어졌습니다.예제 패킹 외에도 다음과 같은 기법들을 제안합니다: 1) PyTorch와 같은 동적 그래프 정의 프레임워크에서 그루핑(grouping)을 사용한 합성곱(convolution)을 통해 병렬화를 최적화하는 기법, 2) 가변 길이 예제 배치에 대한 GPU 간 병렬화 방법. 우리의 모든 기법들은 자체적으로 재구현한 PyTorch 버전의 MDLSTM 기반 NHR 모델에서 철저히 검증되었습니다. IAM 데이터셋에서의 철저한 평가 결과, 우리의 모델들은 이전의 최고 수준 모델 구현들과 유사한 성능을 보였습니다. 우리의 효율적인 NHR 모델과 함께 논의된 일부 재사용 가능한 기법들은 딥러닝에서 자주 발생하는 가변 길이 입력 시나리오에 대해 상대적으로 효율적인 모델 구현 방법을 제공합니다.