HyperAIHyperAI

Command Palette

Search for a command to run...

NVIDIA BioNeMo Recipes : fine-tuning biologique avec LoRA

NVIDIA publie de nouvelles recettes d'entraînement via son écosystème BioNeMo, démontrant comment adapter efficacement de grands modèles fondamentaux en biologie grâce à la technique LoRA. Cette approche permet de fine-tuner des modèles comptant des milliards de paramètres sur un simple GPU de station de travail, spécifiquement l'RTX 6000 Blackwell Edition, sans recourir à des infrastructures de calcul massives. Le principe de LoRA consiste à geler les poids du modèle pré-entraîné et à n'entraîner qu'une petite matrice de faible rang ajoutée parallèlement. Cette méthode réduit considérablement la charge mémoire et le nombre de paramètres ajustés, tout en conservant une performance proche du fine-tuning complet. NVIDIA intègre cette technique dans BioNeMo Recipes en utilisant la bibliothèque PEFT, optimisée par le Transformer Engine et des stratégies de regroupement de séquences. Deux études de cas illustrent l'efficacité de cette approche sur des modalités biologiques distinctes. Pour la protéine ESM2-3B, l'entraînement est appliqué à la prédiction de la structure secondaire des acides aminés. En combinant LoRA avec un regroupement de séquences au format optimisé, l'équipe obtient une exactitude de 84,80 % en Q3 et 74,30 % en Q8, rivalisant avec des modèles spécialisés comme Porter 6 ou SPOT-1D-LM. L'entraînement se termine en moins d'une heure sur une seule carte graphique, avec un gain de débit de 5,5 fois grâce à la réduction des calculs inutiles sur les jetons de remplissage. Dans le domaine de l'ADN, le modèle Evo2-1B, basé sur une architecture Hyena mixant convolutions et attention, est adapté à la classification des sites d'épissage. Une comparaison montre qu'ajouter LoRA fait passer la précision de test de 52,3 % à 96,6 %, en n'entraînant que 1,42 % des paramètres. La difficulté réside principalement dans la distinction entre les sites donneurs et accepteurs, tous deux partageant des motifs nucléotidiques similaires nécessitant un contexte plus large. Ces démonstrations confirment que les modèles biologiques à grande échelle deviennent accessibles à des infrastructures modestes, à condition d'intégrer soigneusement les outils d'optimisation. Les codes sources, les scripts d'entraînement et les configurations détaillées sont désormais disponibles publiquement dans les recettes NVIDIA BioNeMo. Cette avancée accélère la recherche en biologie computationnelle en permettant aux scientifiques de personnaliser rapidement des fondations IA sans dépendre de centres de calcul excessifs.

Liens associés