通过多任务语言模型统一分子和文本表示

近期神经语言模型的进展已成功应用于化学领域，为分子设计和合成规划中的经典问题提供了生成解决方案。这些新方法有望推动科学发现进入数据驱动自动化的新时代。然而，每项任务通常仍需要专门的模型，导致了针对特定问题的微调需求，并忽视了任务之间的关联性。该领域的主要障碍在于自然语言和化学表示之间缺乏统一的表示形式，这不仅复杂化了人机交互，也限制了其发展。在此，我们提出了一种首个多领域、多任务的语言模型，能够解决化学和自然语言领域中广泛的任务。我们的模型可以同时处理化学和自然语言信息，而无需在单一领域进行昂贵的预训练或使用特定任务的模型。有趣的是，跨领域的权重共享显著提高了我们在单域和跨域基准测试中的表现。特别是，在跨域任务中，通过跨领域和跨任务的信息共享实现了显著改进，其改进幅度随着规模的增加而增大，这一点通过十多个相关指标得到了验证。我们的研究结果表明，这类模型可以通过取代特定问题的微调并增强人机交互来稳健且高效地加速物理科学领域的发现进程。