分子表現とテキスト表現の統合をめざした多タスク言語モデル

最近のニューラル言語モデルの進歩は、化学分野にも成功裏に適用され、分子設計や合成計画における古典的な問題に対する生成ソリューションを提供しています。これらの新しい手法は、データ駆動型の自動化による科学的発見の新時代を後押しする可能性があります。しかし、各タスクには依然として専門的なモデルが必要であり、問題固有の微調整が求められ、タスク間の関連性が軽視されています。この分野における主な障壁は、自然言語と化学表現との間に統一された表現が欠如していることです。これにより人間と機械の相互作用が複雑化し、制限されます。本稿では、化学領域と自然言語領域の広範なタスクを解決できる初の多ドメイン・多タスク言語モデルを提案します。当該モデルは、単一ドメインやタスク固有のモデルに高額な事前学習を必要とせずに、化学表現と自然言語を同時に処理できます。興味深いことに、ドメイン間で重みを共有することで、単一ドメインおよびクロスドメインのタスクにおいて最先端ベースラインと比較した際の性能が著しく向上します。特に、ドメインとタスク間での情報共有はクロスドメインのタスクにおいて大きな改善をもたらし、その効果は十数種類以上の関連指標によって測定される規模とともに増大します。我々の研究は、このようなモデルが問題固有の微調整に取って代わりつつ、人間とモデルとの相互作用を強化することにより物理科学における発見を堅実かつ効率的に加速できる可能性があることを示唆しています。