Hugging Face : LoRA battu par d'autres techniques PEFT
Le fine-tuning ou affinement des modèles d'intelligence artificielle nécessite habituellement des ressources mémoire considérables. Pour contourner cette limitation, les techniques de fine-tuning efficace en paramètres, communément appelées PEFT, se sont imposées. Parmi elles, LoRA domine l'écosystème par sa popularité et son large support logiciel. Toutefois, l'équipe Hugging Face invite les praticiens à remettre en question ce choix par défaut, au risque de négliger des alternatives plus performantes. Afin d'éclairer les décisions techniques, Hugging Face a développé une campagne de benchmarks standardisés au sein de sa bibliothèque PEFT. L'objectif est de comparer une quarantaine de méthodes selon des critères objectifs : précision sur des ensembles de test, consommation mémoire, taille des sauvegardes et temps d'entraînement. Les tests évaluent simultanément les tâches textuelles, axées sur le raisonnement mathématique, et la génération d'images, où les réseaux doivent mémoriser et restituer de nouveaux concepts visuels. Tous les algorithmes sont évalués dans des conditions matérielles et logicielles strictement identiques. Les résultats confirment que LoRA reste une valeur sûre mais n'offre pas systématiquement le meilleur compromis. Sur les tâches de raisonnement mathématique, LoRA se positionne correctement, mais ses variantes optimisées, telles que rs-LoRA ou LoRA-FA, dépassent nettement sa précision tout en conservant une empreinte mémoire similaire. En revanche, pour la génération d'images, LoRA cède la première place. La méthode OFT atteint un score de similarité supérieure tout en nécessitant moins de mémoire graphique. D'autres approches comme BEFT ou Lily se révèlent également plus adaptées selon les contraintes spécifiques de chaque projet. Ces données incitent à abandonner l'automatisme du choix unique. Grâce à l'interface unifiée de PEFT, basculer d'une technique à une autre ne nécessite que la modification d'un simple paramètre de configuration. Pour compenser le manque de compatibilité de certaines méthodes avec les outils de déploiement courants comme vLLM, Hugging Face propose désormais un convertisseur permettant de transformer des adaptateurs non-LoRA en format LoRA, sans dégradation notable des performances. Face à la multiplication des méthodes d'affinement, une évaluation ciblée devient indispensable. Les benchmarks ouverts de Hugging Face fournissent une référence objective pour naviguer dans cet écosystème. Les chercheurs et ingénieurs sont encouragés à expérimenter les alternatives qui correspondent précisément à leurs besoins en précision, en efficacité mémoire ou en rapidité d'inférence, plutôt que de s'en tenir aux habitudes établies.
