Yuyang Wang Jiarui Lu Navdeep Jaitly Josh Susskind Miguel Angel Bautista

要約

タンパク質折りたたみモデルは、通常、ドメイン固有の知識をアーキテクチャの構成要素および学習パイプラインに組み込むことで、画期的な成果を達成している。しかし、生成モデルが異なるが関連する問題において広く成功を収めていることを踏まえると、こうしたアーキテクチャ設計が高性能なモデル構築に必須であるかどうかを問うのは自然である。本論文では、一般用途のTransformerブロックのみを用いる初のフロー・マッチングベースのタンパク質折りたたみモデル「SimpleFold」を提案する。従来のタンパク質折りたたみモデルは、三角更新を含む計算コストの高いモジュールや、明示的なペア表現、あるいはこの特定分野に特化して設計された複数の学習目的を採用している。一方、SimpleFoldは適応的層を備えた標準的なTransformerブロックを用い、生成的フロー・マッチングの目的関数に加えて構造項を導入して学習を行う。本モデルは30億パラメータ（3B）規模までスケーリングし、約900万件の簡略化されたタンパク質構造データと実験的PDBデータを用いて学習した。標準的な折りたたみベンチマークにおいて、SimpleFold-3Bは最先端のベースラインと比較して競争力のある性能を達成した。さらに、Deterministic再構成目的で学習されたモデルでは通常困難とされるアンサンブル予測においても、SimpleFoldは優れた性能を示した。一般用途のアーキテクチャを採用しているため、SimpleFoldはコンシューマーレベルのハードウェア上でも効率的なデプロイと推論が可能である。本研究は、タンパク質折りたたみにおける複雑なドメイン特化アーキテクチャへの依存を問い直し、今後の進展に向けた新たな設計空間を提示している。