초록
우리는 실제 수학 공식의 이미지를 주어졌을 때 LaTeX 마크업을 생성하도록 학습하는 시각적 주의를 갖춘 신경 변환기 모델을 제시합니다. 자연어, 이미지, 필기체, 음성 및 오디오와 같은 다양한 모달리티에서 매우 성공적으로 적용된 시퀀스 모델링과 변환 기술을 활용하여, 이 모델은 150단어 이상의 구문적이고 의미론적으로 올바른 LaTeX 마크업 코드를 생성하며, Im2Latex 문제에 대한 이전 최신 기술보다 높은 BLEU 점수 89%를 달성하였습니다. 또한 히트맵 시각화를 통해 주의 메커니즘이 모델 해석에 어떻게 도움이 되는지 보여주며, 경계 상자 데이터 없이 학습되었음에도 불구하고 이미지에서 기호를 정확히 감지하고 위치할 수 있음을 입증합니다.