要約
深層学習モデルへの入力として文字（character）を使用する利点とトレードオフに関する現在の研究は、著しく進展している。新たなトークンフリー（token-free）モデルは従来のトークン化ステップを排除しているが、その効率性については依然として明確でない。さらに、シークエンスタグGINGタスクにおけるトークン化の影響は、相対的に十分に検討されていない。本研究では、ドキュメントからの情報抽出を対象に、トークン化の影響を検証し、サブワードベースと文字ベースのモデルを比較・分析する。特に、生物医療テキストからの情報抽出（Information Extraction: IE）を対象とする。本研究の主な成果は二つである。第一に、トークン化のパターンは帰納的バイアス（inductive bias）を導入し、最先端の性能を実現することが示された。第二に、文字ベースのモデルも有望な結果を示した。これらの結果から、トークンフリーな情報抽出モデルへの移行は現実的であると結論づけられる。