摘要
在本文中，我们提出了基于文本的开放分子生成基准（Text-based Open Molecule Generation Benchmark, TOMG-Bench），这是首个用于评估大语言模型（LLMs）在开放域内分子生成能力的基准。TOMG-Bench 包含了三个主要任务的数据集：分子编辑（MolEdit）、分子优化（MolOpt）和定制分子生成（MolCustom）。每个任务进一步包含三个子任务，每个子任务包含 5,000 个测试样本。鉴于开放分子生成的固有复杂性，我们还开发了一个自动化评估系统，该系统有助于测量生成分子的质量和准确性。我们对 25 个大语言模型进行了全面的基准测试，揭示了当前文本引导下的分子发现中的局限性和潜在改进领域。此外，在专门设计用于解决 TOMG-Bench 提出挑战的指令调优数据集 OpenMolIns 的帮助下，Llama3.1-8B 在 TOMG-Bench 上的表现超过了所有开源的大语言模型，甚至比 GPT-3.5-turbo 高出 46.5%。我们的代码和数据集可通过 https://github.com/phenixace/TOMG-Bench 获取。