La startup londonienne Encord, spécialisée dans les infrastructures de données pour l’intelligence artificielle, mène actuellement un projet pilote en Californie avec la néoentreprise allemande Zander Labs pour intégrer les ondes cérébrales humaines dans l’apprentissage des robots. Cette collaboration vise à dépasser les limites des données visuelles et motrices traditionnelles en exploitant le cerveau humain comme source d’information complémentaire. Pour entraîner des robots à manipuler des objets dans des environnements réels, les développeurs s’appuient principalement sur des vidéos à la première personne et des données de téléopération. Cependant, ces supports manquent de contexte sur l’intention humaine, les moments d’erreur ou la charge cognitive. Les caméras ne capturent pas pourquoi un opérateur hésite ou modifie sa trajectoire, ce qui limite la précision des modèles d’IA dits incarnés. Pour combler ce manque, Encord et Zander Labs synchronisent des signaux électroencéphalographiques captés par un casque de réalité virtuelle avec des flux vidéo et des mouvements. Zander Labs utilise une interface cerveau-ordinateur passive, qui enregistre les activités neuronales sans imposer d’effort conscient à l’utilisateur. Un algorithme identifie des motifs spécifiques, tels que les potentiels liés à la détection d’une erreur, la surprise ou l’effort mental. Ces signaux sont ensuite alignés temporellement sur les actions observées pour créer des étiquettes d’entraînement probabilistes. Selon les responsables du projet, cette approche multivoie pourrait augmenter considérablement la valeur des données pour l’entraînement robotique. En détectant un signalement d’erreur ou un pic de complexité, un robot pourrait ajuster sa méthode d’exécution ou activer des modules de calcul plus performants uniquement lorsque cela est nécessaire. Cette optimisation des ressources computationnelles représente un avantage majeur pour le déploiement industriel. Les défis restent toutefois importants. Les signaux sont sensibles aux interférences liées aux mouvements, à la fatigue ou au bruit environnemental, et varient d’un individu à l’autre. Les données neuronales ne peuvent donc pas être interprétées comme une lecture directe des pensées, mais fonctionnent comme des indicateurs contextuels à croiser avec la vidéo et la mécanique du robot. Actuellement, le partenariat en reste à la phase de test. Encord construit un jeu de données annotées avec des marqueurs cérébraux pour le soumettre aux modèles robotiques de ses clients. Les résultats détermineront si cette méthode s’étendra au-delà du prototype. En parallèle, la société explore également l’usage de capteurs myographiques sur l’avant-bras pour compenser les angles morts visuels. Cette initiative marque une étape vers une nouvelle génération de données d’entraînement, où l’intelligence artificielle apprendrait non seulement des gestes humains, mais aussi de leurs processus décisionnels internes.