NVIDIA BioNeMoでLoRA活用、生物基盤モデルファインチューン
ニューラランドは、生物基礎モデルのファインチューニングを効率化するBioNeMo Recipesの技術ガイドを更新した。本イニシアチブはLoRA(Low-Rank Adaptation)を活用し、数十億パラメータのタンパク質およびDNAモデルを単一のワークステーションGPU上で高速かつ低コストで適応させる方法を体系化している。 具体的な適用例として、プロテイン言語モデルESM2-3Bを用いたタンパク質二次構造予測、およびDNA言語モデルEvo2-1Bを用いたスプライスサイト分類が検証された。LoRAは事前学習済みのネットワーク重みを凍結し、低ランクアダプター行列のみを訓練対象とする手法である。ニューラランドの最適化コンポーネントであるTransformer EngineやMegatron-Bridge、PEFTライブラリを統合したことで、RTX 6000 Blackwell Workstation Edition GPU一台で訓練が完結する環境が構築された。 実験結果では、ESM2-3BのLoRA適応がQ3精度84.80%、Q8精度74.30%を記録し、Porter 6やSPOT-1D-LMなどの既存最先端手法と同等の性能を発揮した。DNAタスクでは、Evo2-1BのLoRA適応によりスプライスサイト分類のテスト精度が単一ヘッドモデルの約52%から96.6%へと劇的に向上した。さらに、可変長配列のバッチ処理における計算リソースの浪費を解消するシーケンスパッキング手法の採用により、AttentionおよびMLPレイヤーのスループットが従来比約5.5倍に向上し、GPUメモリ効率も大幅に改善された。 ニューラランドは本レシピの全ソースコードおよび再現コードを公開した。生物情報科学の研究者や開発者が、専用ハイエンドクラスターに依存せずとも、パラメータ効率の高いファインチューニングワークフローを迅速に構築・カスタマイズできる標準プロトコルとして、業界におけるモデル実装のハードル低下が期待されている。
