一个Transformer即可理解二维与三维分子数据

与视觉和语言数据通常具有唯一格式不同，分子天然可以采用多种化学表示形式。分子既可以被视作二维图结构，也可被定义为三维空间中原子的集合。在分子表征学习领域，以往大多数工作仅针对特定数据格式设计神经网络模型，导致所学模型在面对其他格式数据时往往表现不佳。我们认为，面向化学领域的通用神经网络模型应具备跨数据模态处理分子任务的能力。为实现这一目标，本文提出一种基于Transformer架构的新型分子模型——Transformer-M。该模型能够接收二维（2D）或三维（3D）格式的分子数据作为输入，并生成具有意义的语义表征。Transformer-M以标准Transformer为骨干架构，设计了两个独立的编码通道，分别用于提取2D和3D结构信息，并在网络模块中将这些信息与原子特征进行融合。当输入数据为特定格式时，对应通道被激活，另一通道则被禁用。通过在2D和3D分子数据上施加合理设计的监督信号进行训练，Transformer-M能够自动学习来自不同数据模态的知识，并准确捕捉分子的结构表征。我们对Transformer-M进行了广泛实验。所有实证结果均表明，该模型在2D与3D任务上均能同时取得优异性能，充分验证了其广泛的适用性。相关代码与模型将公开发布于：https://github.com/lsj2408/Transformer-M。