TOMG-Bench: テキストベースのオープンな分子生成におけるLLMの評価

本稿では、大規模言語モデル（LLM）のオープンドメイン分子生成能力を評価する最初のベンチマークであるテキストベースのオープン分子生成ベンチマーク（Text-based Open Molecule Generation Benchmark, TOMG-Bench）を提案します。TOMG-Benchは、分子編集（MolEdit）、分子最適化（MolOpt）、カスタマイズされた分子生成（MolCustom）という3つの主要なタスクを含むデータセットで構成されています。各タスクはさらに3つのサブタスクに分かれ、それぞれのサブタスクには5,000個のテストサンプルが含まれています。オープン分子生成の固有の複雑さを考え、生成された分子の品質と精度を測定する自動評価システムも開発しました。25の大規模言語モデルを包括的にベンチマークした結果、テキストガイダンスによる分子探索における現在の制限と改善すべき潜在的な領域が明らかになりました。さらに、TOMG-Benchによって提起された課題を解決するために提案された専門的な指示微調整データセットであるOpenMolInsの支援により、Llama3.1-8Bはすべてのオープンソースの大規模言語モデルを上回り、TOMG-BenchにおいてGPT-3.5-turboよりも46.5%高い性能を示しました。当方のコードとデータセットは、https://github.com/phenixace/TOMG-Bench から入手可能です。