17 天前

图与Transformer特征的协同融合用于增强分子性质预测

M V Sai Prakash, Siddartha Reddy N, Ganesh Parab, Varun V, Vishal Vaddina, Saisubramaniam Gopalakrishnan
图与Transformer特征的协同融合用于增强分子性质预测
摘要

分子性质预测是计算药物发现中的关键任务。尽管图神经网络(Graph Neural Networks, GNNs)和Transformer模型的近期进展展现出良好的效果与潜力,但仍存在以下局限性:Transformer的自注意力机制未能显式考虑分子的底层结构信息,而仅依赖GNN的特征表示又不足以捕捉区分相似分子的细微且隐含的相互作用与特性。为克服上述挑战,我们提出了一种名为SYN-FUSION的新方法,该方法通过协同融合预训练的GNN与Transformer特征,构建出全面的分子表征,能够同时捕捉分子的全局结构信息与原子级个体特征。在MoleculeNet基准数据集上的实验结果表明,SYN-FUSION在7个分类数据集中的5个以及6个回归数据集中的4个上均优于先前模型。与采用Transformer与图特征联合训练的其他图-Transformer模型相比,SYN-FUSION在性能上表现相当。通过对模型学习过程的深入分析,涵盖损失函数、潜在空间分布及权重分布等多个维度,进一步验证了SYN-FUSION的有效性。最后,消融实验明确证明,SYN-FUSION所实现的协同效应显著超越其单一模型组件及其集成模型的表现,显著提升了分子性质预测的准确性。