Microsoft erweitert Copilot Vision: AI sieht nun den ganzen Bildschirm

Microsoft erweitert die Funktionen seines Copilot Vision AI-Tools für Windows-Insider. Das Tool, das bisher nur zwei Anwendungen gleichzeitig analysieren konnte, um Zusammenhänge zu erkennen, kann nun den gesamten Bildschirminhalt oder jede spezifische Browser- oder App-Fenster einsehen. Dies ermöglicht eine umfassendere Analyse von Inhalten und bietet detailliertere Einblicke sowie Antworten auf Fragen, so Microsoft. Das Aktivieren von Copilot Vision ähnelt dem Teilen des Bildschirms während eines Videoanrufs. Benutzer können das Feature durch Klicken auf das Brille-Symbol in der Copilot-App und die Auswahl des gewünschten Desktops starten. Copilot Vision kann dabei helfen, Inhalte zu analysieren, Tipps für kreative Projekte zu geben, Resümés zu verbessern oder Anleitungen beim Durchspielen neuer Spiele zu liefern. Es erkennt und interpretiert visuelle Informationen und bietet dabei akustische Unterstützung. Im Gegensatz zu Recall, einem anderen Microsoft-Tool, das regelmäßig Schnappschüsse des Bildschirms erstellt, ist Copilot Vision interaktiv und muss aktiv gestartet werden. Recall automatisiert den Prozess des Dokumentierens, während Copilot Vision einen aktiven Dialog zwischen dem Benutzer und dem AI-System ermöglicht. Dieser Dialog kann sowohl über den Computerbildschirm als auch durch die Kamera des Mobiltelefons stattfinden, wodurch die Möglichkeiten der Anwendung erheblich erweitert werden. Die Erweiterung von Copilot Vision wurde zunächst im letzten Jahr als Testfunktion eingeführt, bei der das Tool die Inhalte im Edge-Browser während des Surfen im Internet analysieren konnte. Jetzt kann es jedoch eine viel breitere Palette von Anwendungen abdecken, was seine Nützlichkeit für verschiedene Aufgaben erheblich steigert. Die neue Version ermöglicht es dem AI-Tool, nicht nur Texte, sondern auch Bilder und Videos zu analysieren, um fundierte Einblicke und Lösungen zu bieten. Copilot Vision ist Teil von Microsofts größeren Strategie, assistive Technologien zu entwickeln, die Benutzern in der digitalen Welt helfen sollen. Diese Technologien zielen darauf ab, die Produktivität und den Komfort zu erhöhen, indem sie die Interaktion mit Computern vereinfachen. Copilot Vision kann dabei unterstützen, komplexe Aufgaben zu meistern, indem es den Benutzer durch verschiedene Schritte leitet und ihm praktische Tipps gibt. Ein Beispiel für die Nutzung von Copilot Vision ist die Optimierung von kreativen Projekten. Wenn jemand an einer Grafik oder einem Design arbeitet, kann Copilot Vision Vorschläge machen, wie das Werk verbessert werden könnte. Ähnlich hilfreich kann es sein, wenn man ein Resümé verfeinern möchte. Das Tool kann sprachliche und strukturelle Verbesserungen vorschlagen, um das Dokument professioneller zu gestalten. Auch bei Spielen kann Copilot Vision nützlich sein, indem es Anleitungen und Tipps bietet, um den Spielverlauf zu erleichtern. Die Erweiterung von Copilot Vision zeigt, dass Microsoft weiterhin daran arbeitet, die Integrationsmöglichkeiten von KI in den täglichen Workflow von Benutzern zu verbessern. Die Fähigkeit, den gesamten Bildschirminhalt zu analysieren, eröffnet neue Möglichkeiten für die Kollaboration und den Lernprozess. Insbesondere in beruflichen Kontexten kann Copilot Vision dazu beitragen, die Effizienz zu steigern, indem es Benutzern unterstützt, ihre Aufgaben schneller und besser zu erledigen. Industry-Insider bewerten die Erweiterung von Copilot Vision sehr positiv. Sie sehen darin ein bedeutendes Fortschritt in der Entwicklung von assistiven KI-Technologien, die die Benutzererfahrung erheblich verbessern können. Microsoft, das sich in den letzten Jahren stark auf die Integration von KI in seine Produkte konzentriert hat, wird dadurch in der Lage sein, seine Position im Wettbewerb zu stärken. Das Unternehmen ist bekannt für seine fortschrittlichen Technologien und seine Bemühungen, innovative Lösungen für die Benutzer bereitzustellen. Mit Copilot Vision setzt Microsoft auf eine benutzerzentrierte Herangehensweise, die darauf abzielt, den alltäglichen Umgang mit Technologie zu erleichtern und zu optimieren.