Google lance Gemini Robotics On-Device : premier modèle d'IA robotique fonctionnant entièrement localement

Google a lancé le modèle Gemini Robotics On-Device, marquant ainsi la première fois qu'un modèle d'intelligence artificielle pour les robots peut fonctionner entièrement en local sur un système physique. Cette nouvelle version est particulièrement remarquable pour son adaptabilité et sa polyvalence. Gemini Robotics On-Device représente une avancée significative pour les développeurs, permettant d'ajuster et d'entraîner le modèle selon leurs besoins spécifiques et les contextes d'application. Les tests ont montré que, avec seulement 50 à 100 nouvelles démonstrations (en général effectuées par des robots physiques), le modèle peut rapidement apprendre et maîtriser de nouvelles compétences, démontrant une capacité impressionnante à s'adapter rapidement aux tâches. Pour prouver sa polyvalence, Google a présenté les résultats obtenus sur différents robots tiers. Bien que l'entraînement initial ait été réalisé sur le robot bipède ALOHA de Google, l'équipe a réussi à adapter le modèle à plusieurs autres types de robots, notamment le robot bipède collaboratif de la société allemande Franka Emika et le robot humanoïde Apollo, développé par Apptronik. Pendant les démonstrations, Apollo a pu exécuter avec précision des commandes orales complexes comme "mettre le t-shirt noir dans le sac" ou "placer le jouet magique dans le sac", reconnaissant correctement les objets visés et effectuant les actions appropriées. Toutefois, malgré les avantages évidents liés à ses capacités, de nombreux experts expriment des inquiétudes concernant la sécurité du modèle. Un grand modèle d'IA ayant la capacité de contrôler des êtres physiques soulève des questions cruciales de sécurité, de contrôle et de prédictibilité. Parada, un expert en sécurité de l'IA, met en garde contre la production de comportements inattendus et potentiellement dangereux par les systèmes d'IA, même si ces modèles sont censés générer du langage dans un contexte aléatoire. Pour un robot physique, cela pourrait entraîner des problèmes de sécurité sérieux. En réponse à ces préoccupations, Google souligne que le modèle On-Device n'est qu'un cœur de grande langue artificielle (VLA) et ne contient pas de frame de sécurité complet. L'entreprise recommande aux développeurs de dupliquer les stratégies multicalques de sécurité utilisées par leurs propres équipes internes. Cela inclut la connexion du modèle local à la Gemini Live API standard pour effectuer des vérifications de sécurité et de contenu, et ainsi filtrer toute commande non sécurisée ou incorrecte. De plus, une surveillance en temps réel des paramètres critiques du robot, tels que la portée de mouvement et la force, est nécessaire pour assurer une dernière ligne de défense en matière de sécurité. Actuellement, Google a lancé un programme "d'alpha testers" pour inviter des développeurs et des chercheurs expérimentés à tester le nouveau modèle Gemini Robotics On-Device et ses outils de développement associés. Ce paquet comprend un simulateur physique MuJoCo, permettant aux développeurs de mener des tests et des ajustements intensifs dans un environnement virtuel avant de les appliquer aux robots physiques. À long terme, cette publication marque le début d'une nouvelle ère pour l'IA dans les systèmes robotiques. Parada précise que le modèle Gemini Robotics actuel est construit sur la version Gemini 2.0. Toutefois, l'équipe de Google Robotique prévoit de continuer à développer ce modèle, avec la version Gemini 2.5 offrant des performances améliorées. Ces avancées promettent de faciliter davantage l'intégration de l'IA dans les domaines de la robotique, accélérant ainsi l'innovation et l'adoption de technologies de pointe. Sources : 1. https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/