フローチャート画像の機械解釈可能性向上に向けて

コンピュータプログラミングの教科書やソフトウェアのドキュメンテーションには、アルゴリズムや手続きの流れを示すフローチャートがしばしば含まれています。現代のOCRエンジンはこれらのフローチャートをグラフィックスとしてタグ付けし、その後の処理で無視することが多いです。本論文では、フローチャート画像を機械解釈可能にし、実行可能なPythonコードに変換する方法について研究を行います。この目的のために、自然言語からコード生成に関する最近の成功事例に触発され、新しいトランスフォーマーベースのフレームワークであるFloCo-T5を提案します。当モデルはこのタスクに適しており、プログラミング言語の意味論、構造、パターンを効果的に学習できることから、文法的に正しいコードを生成することができます。また、問題固有の事前学習目標を使用して、多数の論理保存型（logic-preserving）拡張コードサンプルでFloCo-T5を事前学習しました。さらに、この問題に対する厳密な研究を行うために、11,884枚のフローチャート画像とそれに対応するPythonコードを含むFloCoデータセットを導入します。実験結果は有望であり、FloCo-T5はコード生成指標において関連する競合基準モデルを明確に上回っています。当データセットと実装は公開されています。注：「logic-preserving」は一般的な日本語表現がないため、「論理保存型」と訳していますが、「論理保持型」など他の訳し方でも可能です。必要に応じて調整してください。