Nous introduisons EGGROLL (Evolution Guided General Optimization via Low-rank Learning), un algorithme basé sur les stratégies d’évolution (Evolution Strategies, ES) conçu pour étendre à grande échelle l’optimisation sans rétropropagation aux tailles de population importantes, dans le cadre d’architectures modernes de réseaux de neurones profonds comptant des dizaines de milliards de paramètres. Les stratégies d’évolution constituent un ensemble de méthodes puissantes d’optimisation par boîte noire capables de traiter des objectifs non différentiables ou bruités, tout en offrant un excellent potentiel d’évolutivité grâce à la parallélisation. L’approche ES naïve devient prohibitivement coûteuse à grande échelle en raison des coûts computationnels et mémoire associés à la génération de perturbations matricielles ainsi qu’aux multiplications matricielles par lots nécessaires au calcul des passes avant individuelles. EGGROLL surmonte ces goulets d’étranglement en générant des matrices aléatoires de faible rang afin de former une perturbation matricielle de faible rang, utilisée à la place de la perturbation de plein rang. Étant donné que la mise à jour globale est une moyenne sur une population d’agents (workers), celle-ci conserve toutefois un rang élevé, tout en permettant des économies significatives en mémoire et en calcul : la mémoire auxiliaire est réduite de ( O(d^2) ) à ( O(dr) ) par couche, et le coût d’une passe avant est abaissé de ( O(d^2) ) à ( O(dr) ), comparé à l’ES à plein rang. Une analyse théorique montre que notre mise à jour de faible rang converge vers la mise à jour de plein rang à un taux rapide ( O(1/t) ). Nos expériences démontrent que (1) EGGROLL préserve la performance de l’ES dans des scénarios d’apprentissage par renforcement tabula rasa, tout en étant plus rapide ; (2) il est compétitif avec GRPO en tant que technique d’amélioration du raisonnement dans les grands modèles linguistiques (LLM) ; et (3) EGGROLL permet une pré-formation stable de modèles linguistiques récurrents non linéaires fonctionnant exclusivement avec des types de données entiers.