Microsofts Copilot Vision analysiert jetzt alle offenen Dateien und Apps auf Ihrem PC.

Microsoft hat die Funktionen und den Einsatzbereich seines KI-Assistenten Copilot Vision erweitert, um Nutzern bei der Bearbeitung aller Arten von Inhalten behilflich zu sein. In einem am Donnerstag veröffentlichten Blog-Beitrag gab das Unternehmen bekannt, dass Copilot Vision nun in die Copilot Windows-App integriert ist, wodurch Nutzer das Tool benutzen können, um Elemente auf ihrem Bildschirm zu analysieren und Fragen dazu zu beantworten. Copilot Vision ist zunächst in den USA für Windows 10 und 11 verfügbar und wird bald auch in anderen nicht-europäischen Ländern eingeführt. Entwicklung und Funktionsweise Copilot Vision fungiert als virtuelle Begleitung, die als zusätzliche Augenpaar dient, um Nutzern bei Dateien, Anwendungen und anderen Bildschirminhalten zu helfen. Nutzer können das Tool beispielsweise fragen, wie sie eine bestimmte Aufgabe in einer Anwendung ausführen können. Die KI zeigt dann die notwendigen Schritte auf und führt den Nutzer durch den Prozess. Ob man in einem Spiel stecken bleibt oder in Adobe Photoshop Elements ein Foto verbessern möchte – Copilot Vision bietet Ratschläge und erklärt, wie man die gewünschten Änderungen vornehmen kann. Ein weiterer Fortschritt ist die Möglichkeit, zwei Anwendungen oder Dateien gleichzeitig mit Copilot Vision zu teilen. Zum Beispiel könnte man seinen Kalender und eine Webseite mit interessanten Ereignissen teilen und Copilot Vision bitten, freie Termine zu finden, an denen man diese Ereignisse besuchen könnte. Das Tool würde dann einen passenden Termin auswählen und den Nutzer durch die Schritte führen, um das Ereignis in den Kalender einzutragen. Aktivierung und Nutzung Um Copilot Vision in Windows 10 oder 11 zu nutzen, muss man die Copilot Windows-App öffnen und das Brille-Symbol rechts neben dem Prompt anklicken. Eine Liste aller geöffneten Dateien, Anwendungen und Fenster erscheint, und der Nutzer kann den Switch für das gewünschte Fenster aktivieren. Copilot Vision begrüßt den Nutzer dann in der gewählten Stimme und steht zur Verfügung, um Fragen zu beantworten oder durch spezifische Prozesse zu führen. Sobald die Sitzung beendet ist, kann man auf „Stop“ oder „X“ klicken, um zum Copilot-Prompt zurückzukehren. Für die gemeinsame Nutzung zweier Fenster muss man das Brille-Symbol erneut anklicken und den Switch für das zusätzliche Fenster aktivieren. Dann kann man eine Frage stellen, die sich auf beide offenen Elemente bezieht. Im Rahmen meiner Tests habe ich Copilot Vision gefragt, wie man Reflexionen in Photoshop Elements entfernt, und es hat mir schrittweise erklärt, wie man das Spot Healing Brush-Tool benutzt. Ebenso habe ich meinen Kalender und einen Spielplan der New York Yankees geteilt und Copilot Vision gebeten, einen freien Termin für ein Spiel zwischen Yankees und Orioles zu finden. Es hat einen spezifischen Termin ausgewählt und angeboten, mich durch die Schritte zu führen, um das Ereignis in meinen Kalender einzutragen. Datenschutz und Opt-In-Mechanismus Datenschutz ist bei Tools zur Bildschirmfreigabe immer ein wichtiges Thema. Bei Copilot Vision bleibt der Nutzer jedoch im Kontrollzentrum. Man muss aktiv wählen, welches Fenster oder welche Anwendung man mit der KI teilen möchte; andernfalls kann Copilot Vision den Bildschirminhalt nicht sehen oder analysieren. Dies unterscheidet Copilot Vision von Recall, einem Tool, das ständig Bildschirmabzüsse erstellt, sobald es aktiviert ist. Geschichte und Hintergrund Microsoft begann früher in diesem Jahr damit, Copilot Vision in Windows zu testen, und jetzt wird es kostenlos für Windows 10 und 11-Nutzer in den USA eingeführt. Ein Copilot Pro-Abonnement ist nicht mehr erforderlich, da Copilot Vision Teil der experimentellen Copilot Labs-KI-Initiativen des Unternehmens ist. Die Erweiterung von Copilot Vision ist ein wichtiger Meilenstein in der Entwicklung von KI-Assistenten, die Nutzern in der täglichen Arbeit behilflich sein sollen. Tom Warren, ein Senior-Editor und Autor des Newsletters Notepad, der Microsoft, PCs und Technologie seit über 20 Jahren verfolgt, betont die Bedeutung dieser neuen Funktion. „Copilot Vision on Windows ist eine ganz neue Art, mit Ihrem Windows-PC zu interagieren, und hilft Ihnen, wann immer Sie es benötigen“, sagte das Copilot-Team. „Es agiert als Ihre zweite Augenpaar, kann Inhalt analysieren, Ihnen bei Verwirrung helfen, Einblicke bieten und Ihre Fragen in Echtzeit beantworten.” Ausblick Die Einführung von Copilot Vision in die Copilot Windows-App ist ein weiterer Schritt in Richtung personalisierter KI-Assistenten, die die Benutzererfahrung auf PCs erheblich verbessern können. Durch die Integration in verschiedene Anwendungen und die Möglichkeit, mehrere Inhalte gleichzeitig zu analysieren, wird Copilot Vision eine wertvolle Ergänzung für viele Nutzer sein, insbesondere für solche, die oft mit komplexen Anwendungen oder Projekten arbeiten. Die Reaktionen der Branche zeigen, dass solche KI-Tools großes Potenzial haben, die Effizienz und Produktivität zu steigern, während sie gleichzeitig die Benutzerfreundlichkeit erhöhen. Microsofts langfristiges Ziel ist es, Copilot Vision zu einem unverzichtbaren Hilfsmittel für den täglichen Umgang mit Technologie zu machen, und die ersten Schritte in dieser Richtung sind vielversprechend.