Les modèles de langage à grande échelle (LLM), comme ceux alimentant ChatGPT, se distinguent par leurs performances remarquables dans des tâches linguistiques et de codage. Cependant, des chercheurs australiens du Future Data Minds Research Lab ont récemment examiné leur potentiel dans des contextes malveillants, notamment pour deviner des mots de passe. Leur étude, publiée sur arXiv, révèle que ces modèles peinent à générer des mots de passe plausibles pour des utilisateurs spécifiques, malgré leur capacité à produire du texte adapté. Les chercheurs ont créé des profils synthétiques fictifs, comprenant des noms, dates de naissance et loisirs, puis ont demandé à trois LLM open-source — TinyLLaMA, Falcon-RW-1B et Flan-T5 — de proposer des mots de passe susceptibles d’être choisis par ces utilisateurs. L’évaluation s’est basée sur des métriques standardisées comme Hit@1, Hit@5 et Hit@10, qui mesurent la probabilité que le mot de passe correct apparaisse parmi les premières suggestions. Les résultats montrent une performance médiocre : moins de 1,5 % de réussite au Hit@10, contre des taux bien plus élevés pour les méthodes traditionnelles basées sur des règles ou des combinaisons. L’analyse approfondie révèle que les LLM échouent principalement en raison de lacunes fondamentales dans leur capacité à mémoriser des exemples précis ou à généraliser des motifs appris à des situations nouvelles. Bien qu’ils maîtrisent la langue naturelle, ils manquent de compétences spécifiques à la tâche de déduction de mots de passe, notamment une adaptation au domaine et une capacité à tirer parti de données réelles sur les mots de passe compromis. Ces limites sont exacerbées par l’absence de fine-tuning supervisé sur des jeux de données de mots de passe volés. Cette recherche souligne que les LLM actuels ne sont pas adaptés à la génération de mots de passe crédibles dans un cadre d’attaque. Bien que l’étude porte sur seulement trois modèles, elle ouvre la voie à des recherches futures sur d’autres architectures. Elle contribue également à mieux comprendre les limites des LLM dans des contextes adversariaux, ce qui pourrait guider le développement de systèmes de sécurité plus robustes, privés et résilients face aux tentatives de piratage. Les experts du domaine considèrent ces résultats comme une avancée importante pour la cybersécurité. Ils montrent que, contrairement à ce que certains craignaient, les LLM ne représentent pas une menace immédiate pour la sécurité des mots de passe. En revanche, ils soulignent la nécessité de continuer à explorer leurs capacités tout en renforçant les défenses numériques. Cette recherche, menée par Mohammad Abdul Rehman et Syed Imad Ali Shah, illustre ainsi l’importance d’une évaluation rigoureuse des technologies émergentes, même celles qui semblent puissantes.