NVIDIA lance AIPerf pour tester les performances des LLM
NVIDIA a présenté AIPerf, un nouvel outil de benchmark dédié à l'inférence des grands modèles de langage, conçu pour succéder à GenAI-Perf. Les méthodes de test actuelles souffrent souvent de limitations liées à une architecture monoprocès, aux contraintes de concurrence du langage Python ou à une complexité de configuration qui rend les résultats difficilement reproductibles. AIPerf répond à ce défi par une architecture multiprocès : des processus génèrent la charge de travail pendant que des services dédiés collectent les résultats, le tout coordonné via le protocole ZMQ. Cette conception élimine les goulets d'étranglement côté client et garantit des mesures fidèles aux capacités réelles du serveur. Le logiciel prend en charge plus de quinze types d'endpoints, dont le chat, les réponses structurées et la génération d'images, tout en permettant de rejouer des traces de production issues de plateformes tierces. Il offre un contrôle précis sur la forme du trafic, avec des patterns d'arrivée constants, Poisson ou gamma, une montée en charge progressive et des distributions synthétiques compatibles avec les frameworks d'inférence modernes. Cette flexibilité permet de simuler aussi bien des tests rapides que des charges réelles variables. Pour valider ses capacités, NVIDIA a utilisé Qwen3-0.6B hébergé via vLLM comme référence de test. L'activation du streaming y est obligatoire afin de mesurer précisément le temps jusqu'au premier jeton et le temps inter-jeton. Les rapports de performance s'affichent sous forme de tableaux détaillant les métriques clés et leurs distributions par centile, avec une option pour corréler les résultats à la télémétrie GPU. Contrairement aux benchmarks statiques qui figent la longueur des requêtes, l'utilisation de patterns Poisson introduit des variations réalistes dans le volume et la fréquence des demandes. Ces simulations dynamiques révèlent des écarts de latence plus larges et mettent en lumière les interactions complexes entre le prétraitement et le décodage sur le processeur graphique. Développé en collaboration avec des acteurs majeurs comme AWS, Coreweave, Baseten et Pinterest, AIPerf vise à standardiser l'évaluation des performances d'inférence IA. En fournissant des données granulaires, reproductibles et proches des scénarios réels, l'outil aide les ingénieurs et les chercheurs à optimiser leurs déploiements sans s'appuyer sur des tests artificiellement simplifiés. La documentation technique et les exemples de configuration sont désormais disponibles sur le dépôt officiel du projet.
