Un benchmark récent évalue la capacité des modèles d'intelligence artificielle à détecter automatiquement des vulnérabilités de sécurité complexes. L'étude, mise à jour entre mai et juin 2026, confronte une douzaine de systèmes, dont Mythos, Opus, GPT 5.5 Pro, Qwen 3.6, Gemma 4 MoE, MiMo et DeepSeek, à un corpus de neuf bogues de sécurité réels et particulièrement ardus. Contrairement à des tests classiques, les modèles ont analysé un code source brut, sans indice sur l'emplacement ou la nature exacte des failles, simulant ainsi un audit de sécurité en conditions réelles. Les résultats révèlent que Mythos détecte effectivement certaines vulnérabilités que les autres modèles manquent, ce qui corrobore partiellement ses affirmations publicitaires. Toutefois, le fossé n'est pas aussi abyssal que certains le laissent entendre. Plusieurs architectures open source ou à coût réduit se distinguent par leur efficacité. Qwen 3.6 27B, par exemple, surperforme nettement par rapport à certains modèles commerciaux plus lourds, tout en générant moins de faux positifs. De même, Gemma 4 MoE parvient à identifier quatre failles avec une précision élevée, bien que son mode de fonctionnement génère parfois des boucles de raisonnement répétitives. Le rapport met également en lumière le rapport qualité-prix des modèles chinois. MiMo et DeepSeek offrent une performance directement compétitive avec les leaders du marché, à une fraction du coût et avec une vitesse d'exécution nettement supérieure. À l'inverse, la taille du modèle ne garantit pas une meilleure détection. Certains grands réseaux comme Nemotron Ultra 550b ou Mistral Medium obtiennent des résultats médiocres, ce dernier semblant avoir activé des filtres de sécurité empêchant l'analyse de code suspect. Gemini 3.5 Flash dépasse également son prédécesseur Pro, mais à un prix élevé qui limite son intérêt économique. Méthodologiquement, le test utilise un environnement isolé sans accès à l'historique Git, empêchant les modèles de tricher avec les données connues. Cependant, les auteurs reconnaissent que les outils d'orchestration et les invites initiales restent basiques. Des essais supplémentaires suggèrent que des itérations multiples ou une optimisation des invites pourrait permettre aux modèles publics actuels d'atteindre des niveaux de performance similaires à ceux de Mythos. La présence de filtres de sécurité agressifs sur certaines interfaces complique également l'évaluation. En conclusion, cette analyse démontre que la détection automatisée de vulnérabilités de haut niveau n'est plus l'apanage exclusif de systèmes très coûteux ou en accès restreint. Bien que Mythos conserve un avantage sur des cas spécifiques, les progrès récents des modèles accessibles indiquent que les équipes de sécurité peuvent désormais s'appuyer sur des alternatives plus économiques et performantes. L'accessibilité de ces outils évolue rapidement, rendant la frontière entre recherche avancée et applications industrielles de plus en plus floue.