Copilot Vision de Microsoft analyse vos fichiers et apps PC.

Microsoft a récemment annoncé une expansion significative des capacités et de la portée de son assistant d'intelligence artificielle, Copilot Vision. Dans un billet de blog publié jeudi, l'entreprise a révélé que Copilot Vision est maintenant intégré à l'application Copilot Windows, permettant aux utilisateurs de demander à l'IA d'analyser et de répondre à des questions sur tout élément affiché à l'écran. Disponible aux États-Unis pour Windows 10 et 11, Copilot Vision sera bientôt déployé dans d'autres pays hors Europe. Copilot Vision agit comme un compagnon virtuel, fournissant une autre paire d'yeux pour aider avec les fichiers, applications et autres éléments affichés et partagés à l'écran. Vous pouvez lui demander d'analyser ou de résumer le contenu, ou de répondre à des questions spécifiques à ce sujet. Par exemple, si vous êtes bloqué dans un jeu vidéo, vous pouvez demander à Copilot Vision des conseils pour avancer. Si vous travaillez sur une photo dans un programme comme Adobe Photoshop Elements et que vous voulez améliorer l'éclairage, Copilot Vision peut vous expliquer les étapes précises à suivre. L'une des fonctionnalités les plus utiles de Copilot Vision est sa capacité à partager deux applications ou fichiers en même temps et à établir des liens entre eux. Par exemple, vous pouvez partager votre calendrier et une page web d'événements intéressants, puis demander à l'IA de trouver des dates où vous seriez libre pour assister aux événements qui vous plaisent. Copilot Vision trouvera une date appropriée et vous guidera même dans les étapes pour ajouter l'événement à votre calendrier. Cette dernière mise à jour représente un grand pas en avant pour Copilot Vision. Jusqu'à présent, la version de bureau de l'outil ne fonctionnait que dans Edge et ne pouvait analyser que la page web actuelle. Désormais, tout ce que vous ouvrez dans Windows est disponible pour être partagé avec Copilot. Pour utiliser cette fonctionnalité, ouvrez l'application Copilot Windows, cliquez sur l'icône des lunettes à droite de la invite, et vous verrez une liste de tous vos fichiers, applications et fenêtres ouverts. Activez le commutateur pour l'élément que vous souhaitez partager avec Copilot. L'IA vous saluera dans la voix que vous avez configurée, et vous pourrez lui poser des questions sur le contenu partagé. Pour inclure un deuxième élément, cliquez à nouveau sur l'icône des lunettes et activez le commutateur pour la fenêtre supplémentaire. La confidentialité est toujours une préoccupation majeure avec les outils de partage et de capture d'écran. Cependant, avec Copilot Vision, vous êtes en contrôle. Vous devez choisir activement de partager une fenêtre spécifique avec l'IA ; sinon, elle ne peut pas voir ni analyser ce qui se trouve sur votre écran. Cela diffère de Recall, qui prend continuellement des captures d'écran une fois activé. Tom Warren, un éditeur senior et auteur de Notepad, couvre les actualités de Microsoft, des PC et de la technologie depuis plus de 20 ans. Il a assisté à l'événement du 50e anniversaire de Microsoft en avril, où il a eu l'occasion de tester Copilot Vision. Selon lui, une fois qu'une application est partagée, Copilot est capable de mettre en évidence des parties de votre écran pour vous guider et vous aider à répondre à vos questions. Microsoft a commencé à tester Copilot Vision dans Windows plus tôt cette année et le lance maintenant gratuitement aux États-Unis pour les utilisateurs de Windows 10 et 11. Contrairement aux premières versions, il n'est plus nécessaire de souscrire à un abonnement Copilot Pro pour accéder à cette fonctionnalité. Elle fait toujours partie des initiatives expérimentales Copilot Labs de Microsoft. Selon l'équipe Copilot, Copilot Vision sur Windows offre une nouvelle façon d'interagir avec votre ordinateur, vous aidant lorsque vous en avez besoin. « Quand vous choisissez de l'activer, Copilot Vision peut voir ce que vous voyez et en parler en temps réel », expliquent-ils. « Il agit comme votre seconde paire d'yeux, capable d'analyser du contenu, de vous aider quand vous êtes perdu, de fournir des insights et de répondre à vos questions au fur et à mesure. Que vous naviguiez, travailliez ou soyez plongé dans un projet, Copilot Vision offre des insights et des réponses immédiates, assurant un flux de travail fluide et sans effort. » Lance Whitney, de ZDNet, a également testé Copilot Vision. Il a ouvert une photo dans Photoshop Elements avec des reflets de lumière et a demandé à Copilot comment les supprimer. L'IA lui a expliqué comment utiliser l'outil Spot Healing Brush pour éliminer les reflets. Il a également partagé son calendrier et un calendrier des matchs des New York Yankees, demandant à Copilot de trouver une date où il serait disponible pour assister à un match des Yankees contre les Orioles. Copilot a identifié une date précise et lui a même proposé de l'aider à ajouter l'événement à son calendrier. Bien que Copilot Vision soit actuellement limité aux États-Unis, Microsoft envisage de le déployer dans d'autres pays hors Europe prochainement. Cette mise à jour s'inscrit dans la stratégie de Microsoft de rendre ses outils d'IA plus accessibles et utiles pour les utilisateurs de tous niveaux, en offrant des solutions pratiques et intuitives pour une variété de tâches quotidiennes. Contexte et Implications : Les experts et les observateurs de l'industrie saluent cette initiative de Microsoft, la considérant comme une avancée significative dans le domaine des assistants d'IA. Copilot Vision est conçu pour faciliter l'utilisation des applications et des fichiers, offrant ainsi une expérience utilisateur plus intuitive et efficace. Microsoft, connu pour ses innovations technologiques et ses produits largement utilisés, continue de se positionner comme un leader dans l'intégration de l'IA dans ses services. Cette fonctionnalité pourrait avoir des implications importantes, notamment en améliorant la productivité et l'accessibilité pour les utilisateurs, et en offrant des solutions personnalisées pour des tâches complexes. Les réactions positives jusqu'à présent suggèrent que Copilot Vision pourrait devenir un outil indispensable pour nombre de personnes utilisant des systèmes d'exploitation Windows.