2ヶ月前

図からテキスト節を解析した多モーダルニューラル幾何ソルバー

Ming-Liang Zhang; Fei Yin; Cheng-Lin Liu
図からテキスト節を解析した多モーダルニューラル幾何ソルバー
要約

幾何問題解決(GPS)は、多モーダル融合と幾何学的知識の適用を必要とする高次元の数学的推論です。最近、ニューラルソルバーはGPSにおいて大きな可能性を示していますが、図形表現やモーダル融合において未だ不足があります。本研究では、図形を基本的なテキスト句に変換することで図形の特徴を効果的に描写し、多モーダル情報を効率的に融合する新しいニューラルソルバーであるPGPSNetを提案します。構造的および意味的な事前学習、データ拡張、自己制限デコーディングを組み合わせることで、PGPSNetには豊富な幾何学定理と幾何学的表現の知識が付与され、これにより幾何学的理解と推論が促進されます。さらに、GPSの研究を促進するために、微細な注釈と解釈可能な解法プログラムを持つ大規模かつ詳細なGPSデータセットであるPGPS9Kを構築しました。PGPS9Kおよび既存のデータセットGeometry3Kでの実験結果は、当社の手法が最先端のニューラルソルバーよりも優れていることを証明しています。当社のコード、データセットおよび付録資料は\url{https://github.com/mingliangzhang2018/PGPS}から入手可能です。

図からテキスト節を解析した多モーダルニューラル幾何ソルバー | 最新論文 | HyperAI超神経