文法認識ネットワークを用いた手書き数式認識

手書き数学式認識（HMER）は、多くの潜在的な応用を持つ困難な課題である。最近のHMER手法では、エンコーダ-デコーダアーキテクチャを用いて優れた性能が達成されている。しかし、これらの手法は「文字から文字へ」の予測パラダイムに従っており、数学式の複雑な構造や細かい手書き文字により予測誤差が避けられない場合がある。本論文では、初めて文法情報をエンコーダ-デコーダネットワークに組み込む簡単で効率的なHMER手法を提案する。具体的には、各表現のLaTeXマークアップシーケンスを解析木に変換するための一連の文法規則を提示し、深層ニューラルネットワークを使用してマークアップシーケンスの予測を木の巡回プロセスとしてモデル化する。これにより、提案手法は表現の文法コンテキストを効果的に記述でき、HMERにおける構造予測誤差を軽減できる。3つのベンチマークデータセットでの実験結果は、当手法が先行研究よりも優れた認識性能を達成していることを示している。さらに当手法の有効性を検証するために、1万人のライターから収集した10万枚の手書き数学式画像からなる大規模データセットを作成した。本研究におけるソースコード、新しいデータセットおよび事前学習済みモデルは公開される予定である。