Une étude menée par Ahsaas Bajaj et Benjamin S. Knight d'Instacart, basée sur 134 400 simulations reflétant des modèles de production réels, établit un cadre décisionnel clair pour le choix du régulariseur en apprentissage automatique. L'analyse démontre que la performance dépend moins du choix du régulariseur lui-même que du ratio entre la taille de l'échantillon et le nombre de caractéristiques, ainsi que du nombre de condition des données. Les chercheurs ont comparé quatre cadres de régularisation : Ridge, Lasso, ElasticNet et l'Ordinary Least Squares post-Lasso, en évaluant la précision prédictive, la sélection de variables et l'estimation des coefficients. Pour l'objectif de précision prédictive, le résultat est catégorique : Ridge est recommandé. L'étude révèle que Ridge, Lasso et ElasticNet sont quasi interchangeables en termes d'erreur quadratique moyenne sur les tests, avec une différence médiane inférieure à 0,3 %. Cependant, Ridge présente un avantage computationnel décisif, offrant une solution analytique fermée qui le rend environ cinq fois plus rapide que Lasso et jusqu'à quarante-huit fois plus rapide qu'ElasticNet. Le surcoût d'ElasticNet n'apporte aucune amélioration significative des performances prédictives, sauf dans des cas marginaux à très faible taille d'échantillon et fort rapport signal-bruit, où il peut surpasser Ridge de 5 à 15 %. En pratique, la taille de l'échantillon influence bien plus la précision que le choix du régulariseur. Lorsque l'objectif est la sélection de variables, ElasticNet s'impose comme la valeur sûre, particulièrement en cas de multicolinéarité élevée. Le Lasso souffre d'un problème connu : il choisit arbitrairement une variable parmi un groupe de variables corrélées et ignore les autres, ce qui entraîne une chute drastique de la rappel. ElasticNet, grâce à sa combinaison de pénalités L1 et L2, conserve les variables corrélées ensemble, améliorant significativement la précision de la sélection. Cette recommandation s'applique même lorsque la multicolinéarité est faible, car le Lasso devient sensible au rapport signal-bruit, tandis que l'ElasticNet maintient une performance stable. Le Ridge obtient parfois les meilleurs scores de sélection en raison d'un rappel parfait, mais il ne permet pas l'obtention d'un modèle parcimonieux. Pour l'estimation précise des coefficients, cruciale pour l'interprétabilité ou l'inférence causale, le nombre de condition devient le facteur déterminant. En cas de multicolinéarité élevée (nombre de condition supérieur à 10 000), ElasticNet est supérieur, réduisant l'erreur d'estimation de 20 à 40 % par rapport au Lasso. Dans un contexte bien conditionné, le choix dépend de la parcimonie réelle du modèle, mais l'Ordinary Least Squares post-Lasso doit être évité car il amplifie les erreurs de sélection initiales. Les auteurs proposent un cadre pratique basé sur trois diagnostics calculables avant l'entraînement : le ratio échantillon-caractéristiques (n/p), le nombre de condition (κ) et, pour des échantillons petits, la force de régularisation α sélectionnée par une exécution rapide de LassoCV servant de proxy au rapport signal-bruit. Si le ratio n/p est supérieur à 78, les différences entre méthodes disparaissent et RidgeCV est le choix optimal pour sa rapidité. En dessous de ce seuil, si la multicolinéarité est élevée, ElasticNetCV est impératif. Dans les cas de faible multicolinéarité, ElasticNet reste l'option sécuritaire, sauf si l'on possède des connaissances métier affirmant une forte parcimonie et un signal fort. En résumé, augmenter la taille de l'échantillon reste l'action la plus efficace pour améliorer les modèles, bien plus que le réglage fin du régulariseur.