Microsoft étend Copilot Vision : L'IA peut désormais analyser tout ce qui est affiché sur votre écran

Microsoft a annoncé une mise à jour majeure de son outil d'intelligence artificielle Copilot Vision pour les utilisateurs du programme Windows Insider. Cette nouvelle version permet à l'IA de scanner tout ce qui est affiché sur l'écran de l'utilisateur, une fonctionnalité qui s'étend bien au-delà de la capacité précédente de visualiser et analyser uniquement deux applications simultanément. Alors que Recall prenait automatiquement des captures d'écran régulières, Copilot Vision fonctionne plus comme un partage d'écran lors d'un appel vidéo. Pour l'activer, il suffit de cliquer sur l'icône de lunettes dans l'application Copilot et de sélectionner le bureau ou la fenêtre spécifique (app ou navigateur) que vous souhaitez partager avec l'IA. Selon Microsoft, Copilot Vision peut maintenant « aider à analyser le contenu, fournir des insights et répondre à vos questions, en vous guidant verbalement à travers ». Cet outil offre ainsi plusieurs applications pratiques : des conseils pour améliorer un projet créatif, de l'aide pour parfaire un CV, ou même des guides pendant que vous naviguez dans un nouveau jeu vidéo. Cette fonctionnalité a été testée pour la première fois l'année dernière, principalement pour visualiser et interagir avec le contenu que vous consultez sur le web via le navigateur Edge. Depuis, elle a évolué pour également pouvoir répondre aux questions posées en utilisant la caméra de votre smartphone. En somme, cette mise à jour de Copilot Vision représente une étape significative dans l'intégration de l'intelligence artificielle dans notre utilisation quotidienne des ordinateurs, offrant aux utilisateurs un soutien interactif et personnalisé, quelle que soit leur activité sur l'écran.