2ヶ月前

三重相互作用がグラフトランスフォーマーを改善:三重グラフトランスフォーマーによる正確な分子グラフ学習

Md Shamim Hussain; Mohammed J. Zaki; Dharmashankar Subramanian
三重相互作用がグラフトランスフォーマーを改善:三重グラフトランスフォーマーによる正確な分子グラフ学習
要約

グラフトランスフォーマーは通常、三次相互作用を欠いているため、分子幾何予測などのタスクにおいて重要な幾何学的理解が制限されます。本研究では、新しいトリプレット注意と集約メカニズムを用いて、3つのノードのペア間での直接的な通信を可能にするトリプレットグラフトランスフォーマー(TGT)を提案します。TGTは、まず2次元グラフから原子間距離を予測し、その後これらの距離を使用して下流タスクを行うことで、分子特性予測に適用されます。さらに、新しい三段階トレーニング手順と確率的推論により、トレーニング効率とモデル性能が向上します。当モデルはオープンチャレンジベンチマークであるPCQM4Mv2およびOC20 IS2REで新たな最先端(SOTA)結果を達成しました。また、転移学習を通じてQM9、MOLPCBA、LIT-PCBAの分子特性予測ベンチマークでもSOTA結果を得ています。さらに、TGTの汎用性を示すために、巡回セールスマン問題(TSP)でもSOTA結果を達成しています。

三重相互作用がグラフトランスフォーマーを改善:三重グラフトランスフォーマーによる正確な分子グラフ学習 | 最新論文 | HyperAI超神経