MIT crée FLEX pour aider les robots à lire entre les lignes

Des chercheurs du MIT, avec des collègues de l’université New York, ont présenté FLEX, une plateforme d’apprentissage assisté par intelligence artificielle destinée à aider les robots à interpréter les commandes en langage naturel au-delà de leur sens littéral. Présentée à la Conférence annuelle sur l’apprentissage robotique, cette méthode vise à rendre les robots domestiques ou d’assistance plus intuitifs, en leur permettant de déduire une intention implicite derrière une consigne simple donnée par un utilisateur. Le système s’appuie sur un grand modèle de langage, un type de système d’IA entraîné sur d’immenses volumes de textes présents sur internet. Grâce à cette connaissance, le robot peut relier une instruction à une connaissance générale du monde. Par exemple, si une personne dit à un bras robotisé qui transporte une tasse de café : « Ne renverse pas ça sur l’ordinateur portable ! », le robot ne se contente pas d’éviter uniquement l’ordinateur mentionné. Il peut raisonner que les liquides peuvent endommager des appareils électroniques et ajuster sa trajectoire pour éviter aussi un téléphone situé à proximité, sans que cet objet ait été explicitement indiqué. FLEX fonctionne selon trois étapes. La première, « Add », ajoute à la liste du robot un objet à éviter lorsque l’utilisateur le mentionne, par exemple une tasse si celui-ci demande de ne pas laisser tomber une boule de bowling dessus. Cette étape correspond à des approches existantes, mais elle devient vite contraignante si la liste d’objets à éviter devient trop longue ou si l’environnement change. La deuxième étape, « Generalize », utilise un grand modèle de langage, ici GPT-4o, pour dégager des principes plus larges à partir des consignes reçues. Face à un objet fragile ou sensible à l’eau, le robot peut comprendre qu’il faut protéger une catégorie d’objets, comme les appareils électroniques, les objets fragiles ou les éléments inflammables. La troisième étape, « Mask », permet au système de vision du robot de supprimer de sa liste les objets qui ne sont plus présents dans l’environnement, afin d’éviter une accumulation inutile d’instructions obsolètes. L’ensemble du processus prend environ cinq secondes. Les chercheurs ont testé FLEX dans des simulations où un bras robotisé réalisait trois tâches : servir une tasse de café, déplacer une bougie et transporter une boule de bowling. Dans chaque scénario, des volontaires donnaient des instructions en langage courant. Le robot a respecté les consignes littérales, mais a aussi démontré une capacité de généralisation : éviter les appareils électroniques après une remarque sur un ordinateur portable, s’éloigner des objets inflammables lorsqu’une bougie était manipulée ou protéger les objets fragiles lors du transport d’une boule lourde. Les auteurs estiment que ce type de système répond à un problème central des robots d’assistance : les utilisateurs ne devraient pas avoir à apprendre un vocabulaire technique ou une méthode précise pour commander une machine. Au lieu d’imposer des règles détaillées, FLEX permet d’extraire des préférences implicites à partir d’une ou deux phrases. Pour les chercheurs, cette capacité à comprendre le contexte humain est essentielle pour rendre les robots véritablement utilisables dans des environnements domestiques variés, où chaque foyer possède ses objets, ses habitudes et ses priorités.