SWE-Serve expose l'écart tests locaux et déploiement IA
Un nouveau benchmark nommé SWE-Serve a été développé pour mesurer l'écart critique entre les tests locaux et le déploiement réel des agents de codage alimentés par l'intelligence artificielle. Conçu avec l'aide de l'équipe SGLang, un moteur open source pour le déploiement de grands modèles de langage, cet outil met en lumière un problème récurrent : des correctifs logiciels peuvent réussir les tests unitaires mais échouer lors du chargement effectif sur un serveur. SWE-Serve évalue cinquante-trois tâches complexes dérivées de modifications validées sur le projet SGLang. Ces exercices couvrent six domaines techniques, notamment le décodage avancé, l'activation de modèles, les kernels, les API, la mise en cache et l'exécution distribuée. Les tests s'exécutent sur des processeurs standards et des cartes NVIDIA H100. Dix-neuf tâches intègrent une vérification en temps réel via un serveur actif pour simuler une charge de production. Les résultats révèlent un fossé significatif. Sans tests serveur, les correctifs passent avec succès 69,4 % du temps. Ce taux chute à 45,9 % dès l'activation des vérifications en direct. Environ un correctif sur trois, jugé fonctionnel en local, échoue en environnement réel. Cette fragilité s'accentue avec la complexité : les tâches multi-domaines enregistrent une baisse de vingt-et-un points de pourcentage dans leur taux de réussite par rapport aux tâches isolées. L'étude a également comparé onze modèles d'IA spécialisés dans la génération de code. Les performances varient considérablement, les meilleurs atteignant un taux de résolution compris entre 34,6 % et 75,5 %. Claude Opus 5 et GPT-5.6 Solmax se partagent la première place avec environ 75 % de réussite. Il n'existe aucun leader incontesté sur toutes les catégories techniques, et le coût financier ne corrèle pas systématiquement avec la précision ou la rapidité d'exécution. La méthodologie repose sur un contrôle rigoureux. Après un filtrage initial de près de huit cents sources potentielles, cinquante-trois tâches ont été sélectionnées et validées matériellement. Les tests s'effectuent en mode fermé, sans accès internet, afin de garantir l'intégrité des résultats. Les vérificateurs cachés valident le comportement attendu et la stabilité du code, sans jamais comparer le résultat à la solution de référence. En rendant mesurable l'écart entre le développement local et le déploiement, SWE-Serve offre un outil standardisé pour évaluer la maturité des agents de codage IA. Le benchmark et ses environnements sont désormais disponibles publiquement sur GitHub, permettant à la communauté de tester leurs systèmes face aux exigences complexes du traitement en temps réel.
