基于NVIDIA BioNeMo Recipes的LoRA生物基础模型微调
近日,NVIDIA推出基于BioNeMo Recipes的解决方案,成功演示如何利用低秩自适应(LoRA)技术在单台RTX 6000 Blackwell工作站GPU上高效微调数十亿参数的生物基础模型。该技术通过冻结预训练骨干网络,仅训练少量低秩适配器矩阵,大幅降低了计算与存储开销,同时保持甚至超越全参数微调的性能。 在蛋白质语言模型ESM2-3B的二级结构预测任务中,结合Transformer Engine与序列打包技术,模型在不到一小时内即取得与Porter 6等顶尖基线相当的准确率。在DNA模型Evo2-1B的剪接位点分类任务中,LoRA技术将微调参数量压缩至原模型的1.42%,使测试准确率从仅训练分类头的52.3%跃升至96.6%。 该方案通过标准化PyTorch工作流,将高性能计算组件无缝集成,显著提升了训练吞吐量与显存利用率。NVIDIA此举打破了大规模生物AI模型对超算级集群的依赖,使研究人员能在本地工作站便捷完成专业任务适配,为计算生物学与基因组学等领域的高效模型定制铺平道路。相关训练配方已全部开源。
