Google lance la Vision guidée dans Gemini Live

Google a lancé récemment la fonctionnalité Guided Vision dans Gemini Live, une innovation conçue pour améliorer l'accessibilité numérique sur les appareils Android. Cette mise à jour transforme l'assistant IA en partenaire visuel conversationnel, offrant une interprétation visuelle en temps réel aux personnes aveugles ou malvoyantes, ainsi qu'aux seniors et aux individus présentant des difficultés de lecture. Le développement de Guided Vision a été réalisé en étroite collaboration avec la communauté du handicap numérique. Google s'est appuyé sur des dizaines de milliers d'heures de données visuelles collectées avec le réseau Aira pour entraîner le modèle. Plus d'un millier de testeurs certifiés d'Aira, accompagnés de spécialistes, ont contribué à affiner les réponses et à établir des garde-fous de sécurité rigoureux. Lors d'une session Gemini Live, les utilisateurs peuvent activer leur caméra pour recevoir des descriptions verbales claires de leur environnement. L'IA adopte une approche proactive en guidant l'utilisateur vers le bon cadrage : si l'angle est trop élevé, trop proche ou latéral, elle invite poliment à ajuster la position pour optimiser la perception visuelle. Cette interaction conversationnelle permet de poser des questions détaillées et d'obtenir des réponses contextualisées. Les cas d'usage couvrent de nombreuses situations quotidiennes. Guided Vision aide à déchiffrer des étiquettes alimentaires, des cadrans d'appareils ou des menus peu lisibles. Il facilite également la localisation d'objets égarés, la vérification de correspondances vestimentaires ou la découverte de nouvelles pièces. Le système prend en charge plusieurs langues, après des phases de test menées conjointement avec des communautés en Inde, au Brésil, à Singapour, en Indonésie et au Japon, afin de garantir des descriptions naturelles et adaptées. Bien que conçue comme une aide pratique, l'entreprise précise que Guided Vision reste un outil d'assistance et peut occasionner des erreurs. Elle ne constitue en aucun cas un dispositif médical, une canne blanche ou un système de navigation sécurisée pour la circulation piétonne. Les utilisateurs sont invités à conserver leurs méthodes d'orientation éprouvées. La fonctionnalité est dès à présent disponible sur les smartphones Android équipés de la version 9 ou supérieure, dans toutes les régions et langues où Gemini Live est opérationnel. Une mise à jour de l'application et du système d'exploitation est nécessaire pour en profiter. Cette initiative marque une étape supplémentaire vers une intégration inclusive de l'intelligence artificielle générative au service de l'autonomie quotidienne.