La recherche en robotique progresse rapidement, mais évaluer rigoureusement les politiques de manipulation des robots reste un défi majeur. Face aux limites des benchmarks actuels, une équipe de chercheurs issus de NVIDIA Research, de l’Université de Sydney et de l’Université de Toronto a présenté RoboLab, une plateforme d’évaluation en simulation conçue pour refléter plus fidèlement les exigences du déploiement réel. Les systèmes existants souffrent de plusieurs faiblesses structurelles. La plupart des tests reposent sur des environnements de simulation trop similaires aux données d’entraînement, favorisant la mémorisation plutôt que la généralisation. Les jeux de tâches, souvent statiques, conduisent rapidement à une saturation des performances, rendant les comparaisons peu significatives. De plus, une simple note binaire succès ou échec masque les causes réelles des erreurs, tandis que le nombre insuffisant d’essais compromet la fiabilité statistique des résultats publiés. RoboLab répond à ces problèmes en s’articulant autour de principes clés. Il permet la génération rapide et renouvelée de tâches, intégrant même des agents d’intelligence artificielle pour créer continuellement de nouveaux scénarios et éviter la saturation. La plateforme évalue les politiques de manière indépendante du type de robot, permettant aux équipes de comparer des architectures différentes sur des protocoles identiques. Elle segmente également les compétences testées en trois domaines : la reconnaissance visuelle, la logique procédurale et la compréhension relationnelle. Au-delà du simple taux de réussite, RoboLab intègre un système de journalisation détaillée qui trace chaque événement d’échec, comme une mauvaise saisie ou un collisionnement, offrant ainsi un outil de diagnostic comparable à un débogueur logiciel. La plateforme mesure la robustesse des modèles face à trois niveaux de complexité croissante. La variabilité linguistique révèle si un robot comprend réellement la commande ou dépend d’une formulation précise. La complexité visuelle teste sa capacité à isoler les objets cibles parmi des distracteurs. Enfin, l’horizon des tâches évalue sa fiabilité sur des séquences d’actions prolongées, là où la plupart des systèmes actuels voient leurs performances chuter au-delà de quatre sous-tâches. Pour identifier précisément les facteurs environnementaux responsables des baisses de performance, RoboLab utilise une analyse de sensibilité basée sur l’estimation du postérieur neuronal. Cette méthode quantifie l’impact de chaque variation sans nécessiter des expérimentations manuelles isolées, transformant les intuitions en données mesurables. Cette initiative vise à standardiser l’évaluation des robots dans un domaine où les avancées logicielles ne sont souvent pas accompagnées de méthodes de validation adaptées. Intégrée à l’environnement open source NVIDIA Isaac Lab-Arena, RoboLab propose une approche évolutive et diagnostique, essentielle pour préparer les politiques de robotique générale au passage à l’échelle industrielle. Sa version commerciale est prévue pour août 2026.