Flowchart 이미지를 기계 해석 가능하게 만드는 방향으로

컴퓨터 프로그래밍 교재와 소프트웨어 문서에는 알고리즘이나 절차의 흐름을 설명하기 위해 흐름도가 자주 포함됩니다. 현대의 OCR 엔진은 이러한 흐름도를 그래픽으로 분류하고 후속 처리에서 무시하는 경우가 많습니다. 본 논문에서는 흐름도 이미지를 기계가 해석할 수 있도록 변환하여 실행 가능한 파이썬 코드로 만드는 연구를 수행합니다. 이를 위해 최근 자연어에서 코드 생성에 대한 문헌에서 성공한 사례를 참고하여 새로운 트랜스포머 기반 프레임워크인 FloCo-T5를 제안합니다. 우리의 모델은 프로그래밍 언어의 의미, 구조, 패턴을 효과적으로 학습할 수 있어 이를 활용하여 문법적으로 올바른 코드를 생성합니다. 또한, 이 문제에 특화된 사전 학습 목표를 사용하여 FloCo-T5를 대량의 논리적 일관성을 유지한 증강 코드 샘플로 사전 학습하였습니다. 더 나아가, 이 문제에 대한 철저한 연구를 수행하기 위해 11,884개의 흐름도 이미지와 해당 파이썬 코드로 구성된 FloCo 데이터셋을 소개합니다. 실험 결과는 유망하며, FloCo-T5는 코드 생성 메트릭에서 관련 경쟁 모델들보다 명확히 우수한 성능을 보였습니다. 우리는 데이터셋과 구현을 공개적으로 제공합니다.