역전파 알고리즘을 사용하여 훈련되는 다층 신경망은 기울기 기반 학습 기법 중 가장 성공적인 사례이다. 적절한 네트워크 아키텍처가 주어진 경우, 기울기 기반 학습 알고리즘을 활용하여 고차원 패턴(예: 손글씨 문자)을 최소한의 전처리로 분류할 수 있는 복잡한 결정 경계를 합성할 수 있다. 본 논문에서는 손글씨 문자 인식에 적용된 다양한 방법들을 검토하고, 표준 손글씨 숫자 인식 작업에서 그 성능을 비교한다. 특히 2차원 형태의 변동성을 다루도록 특별히 설계된 합성곱 신경망(Convolutional Neural Networks, CNN)은 모든 다른 기법들보다 우수한 성능을 보였다. 실세계 문서 인식 시스템은 필드 추출, 분할 인식, 언어 모델링 등의 여러 모듈로 구성된다. 본 연구에서는 이러한 다모듈 시스템이 기울기 기반 방법을 사용하여 전역적으로 훈련될 수 있도록 해주는 새로운 학습 패러다임인 그래프 트랜스포머 네트워크(Graph Transformer Networks, GTN)를 제안한다. 이를 통해 전체 성능 지표를 최소화할 수 있다. 본 논문에서는 온라인 손글씨 인식을 위한 두 가지 시스템을 설명한다. 실험 결과는 전역 훈련의 장점과 그래프 트랜스포머 네트워크의 유연성을 입증한다. 또한 은행 수표를 인식하는 그래프 트랜스포머 네트워크의 사례를 제시한다. 이 시스템은 합성곱 신경망 기반 문자 인식기와 전역 훈련 기법을 결합하여 영업용 및 개인용 수표에 대해 높은 정확도를 달성한다. 해당 시스템은 상용화되어 하루에 수백만 장의 수표를 처리하고 있다.