数学問題解決のためのTransformerにおける明示的関係符号化の強化

我々は、関係構造の明示的表現をより効果的に支援するため、Transformer内にテンソル積表現（Tensor-Product Representation）を組み込みました。本研究で提案するテンソル積Transformer（TP-Transformer）は、最近導入された56種類の自由形式数学文章問題を含むMathematics Datasetにおいて、新たなSOTA（最新の最良性能）を達成しました。このモデルの核となる要素は、新たなアテンション機構であるTP-アテンションです。TP-アテンションは、各Transformerセルと、アテンションによって値が取得された他のセルとの間の関係を明示的に符号化します。この機構は、標準的なアテンションが複数層にわたって導入する曖昧性を解消するとともに、取得した値の線形結合を超越した表現力の構築を可能にします。TP-Transformerのアテンションマップは、モデルがMathematics Datasetの難解な問題をどのように解いているかをより明確に可視化し、その問題解決メカニズムに関する深い洞察を提供します。プレトレイン済みモデルおよび実装コードは、論文公開後に公開される予定です。