2 个月前
分子多模态基础模型:关联分子图与自然语言
Bing Su; Dazhao Du; Zhao Yang; Yujie Zhou; Jiangmeng Li; Anyi Rao; Hao Sun; Zhiwu Lu; Ji-Rong Wen

摘要
尽管人工智能(AI)在多个领域中对分子的理解取得了显著进展,现有的模型通常仅从单一分子模态中获得单一的认知能力。由于分子知识的层次非常复杂,即使是人类也会通过不同的模态,包括直观的图表和专业的文本,来辅助他们的理解。受此启发,我们提出了一种基于分子多模态的基础模型,该模型通过对比学习从分子图及其语义相关的文本数据(从已发表的科学引文索引论文中爬取)进行预训练。这一AI模型直接连接了分子图和自然语言,代表了一个关键性的尝试。重要的是,通过捕捉这两种模态的具体和互补信息,我们提出的模型能够更好地掌握分子专业知识。实验结果表明,我们的模型不仅在跨模态任务(如跨模态检索和分子描述生成)中表现出色,还提高了分子性质预测的准确性,并具备从自然语言描述生成有意义的分子图的能力。我们相信,这一模型将在生物学、化学、材料科学、环境科学和医学等多个学科领域的人工智能赋能应用中产生广泛影响。