AI-Auswirkungen jetzt systematisch prüfen

Künstliche Intelligenz (KI) hat das Potenzial, Wissenschaft, Gesellschaft und Wirtschaft grundlegend zu verändern. Dennoch bleibt vieles über die weitreichenden Folgen des breiten Einsatzes von KI unklar. Zum Beispiel können KI-Technologien sowohl die Leistung von Wissensarbeitern fördern als auch hemmen. Sie können die Produktivität bei routinemäßigen Aufgaben wie Ideenfindung und Schreiben steigern, aber wenn die Vorschläge der KI blind übernommen werden, können sie auch Flaschenhälse und Fehler bei komplexeren Aufgaben verursachen. Chatbots können die Kreativität einzelner Personen unterstützen, doch eine Überabhängigkeit von ihnen könnte die Vielfalt origineller Ideen verringern. Die Verständnis darüber, wie Nutzer mit der Technologie interagieren und welche Ergebnisse daraus folgen, erfordert sorgfältige, systematische Studien, um zwischen positiven und negativen Auswirkungen zu differenzieren. In der Bildung ist es entscheidend, festzustellen, ob Schüler KI-Werkzeuge nutzen, um ihr Verständnis eines Themas zu vertiefen, oder ob diese Technologie einfach als Stütze dient, die das echte Lernen behindert. Kontrollierte Studien können aufzeigen, in welchen Bereichen KI wirklich Wert hinzufügt und wann ihre Risiken die Vorteile überwiegen. Randomisierte kontrollierte Studien (RCTs), bei denen eine zufällig ausgewählte Gruppe von Teilnehmern eine Intervention erhält, während eine Kontrollgruppe unter gewöhnlichen Bedingungen operiert, könnten besonders wertvoll sein, um den Einfluss von KI im öffentlichen Sektor zu bewerten. Zum Beispiel kann ein Chatbot fachliche und handlungsorientierte Ratschläge zu steuerlichen Fragen an Bürger geben, was eine genaue und pünktliche Abgabe von Steuern fördern kann. Oder wird die teilweise Automatisierung von Zulassungsbewertungen für soziale Leistungen zu gerechten, effizienten Ergebnissen bei geringeren Kosten führen? Das Verständnis dafür, wann, wie und für wen KI funktioniert, ist entscheidend, um positive Ergebnisse und einen sinnvollen Ertrag der Investitionen sicherzustellen. Obwohl einige Organisationen kleine Teststudien durchführen und Nutzerfeedback sammeln, sind solche Tests selten von der nötigen Qualität, Größenordnung und Unabhängigkeit. Unser Leitfaden empfiehlt, die Evaluierung direkt in die Konzeption des KI-Werkzeugs zu integrieren. Da die meisten KI-Werkzeuge online gehostet werden, ist es relativ einfach, neue Funktionen durch den Vergleich unterschiedlicher Nutzergruppen zu testen. Eine Regierungswebsite könnte zum Beispiel manchen Nutzern zufällig einen neueren, sprachmodellgestützten interaktiven Chatbot zeigen, während andere weiterhin einen einfacheren, regelbasierten Chatbot verwenden. Der Einfluss des neuen Werkzeugs kann dann beurteilt werden, indem überprüft wird, ob Nutzer in der Gruppe mit dem neueren Modell seltener menschliche Unterstützung anfordern oder den Kundenservice anrufen – Anzeichen dafür, dass ihre Anfragen effektiver bearbeitet werden als die der anderen Gruppe. Umfragen können wertvolles Feedback zur Nutzererfahrung sowohl für beide Gruppen liefern, helfen aber nicht allein. Das Beobachten tatsächlichen Verhaltens – was Menschen tun, nicht nur was sie sagen – bietet stärkere Beweise für den Einfluss. Komplexere KI-Projekte erfordern angemessen skalierte Evaluationsdesigns. Nehmen wir ein hypothetisches Szenario, bei dem der britische National Health Service Menschen mit einer KI-gestützten tragbaren Geräts versorgt, das ihnen beim Management einer chronischen Krankheit hilft. Die Technologie überwacht den Gesundheitszustand der Person und sendet automatisierte Warnungen an ihren Arzt, falls Anzeichen dafür vorliegen, dass medizinische Betreuung erforderlich ist. Eine robuste Evaluierung könnte hierbei einige Menschen zufällig dem KI-gestützten Gerät zuweisen, während andere (als Kontrollgruppe) eine Version ohne solche Funktionen erhalten. Schlüsselergebnisse könnten ein Rückgang der Anzahl von Krankenhausaufnahmen durch zeitgerechte präventive Pflege sein. Aber die Evaluierung sollte auch mögliche ungewollte Folgen untersuchen, wie zum Beispiel, ob Ärzte sich zu sehr auf das KI-Werkzeug verlassen und die Häufigkeit persönlicher Konsultationen oder andere Standardpflegepraktiken reduzieren. Unsere KI-Evaluierungsrichtlinien basieren nicht nur auf dem Magenta Book der britischen Regierung, das Evaluationsstandards festlegt, sondern fordern den Umbau konventioneller Ansätze. Die meisten Politiken werden in der Regel nur einmal bewertet. Bei KI muss sich dies jedoch ändern. KI-Modelle entwickeln sich schnell, und ihre Ausgabe und Leistung können rasch und unterschiedlich je nach Nutzergruppe variieren. Evaluierungsstrategien müssen daher genauso dynamisch und flexibel sein wie die Technologie selbst. Unsere Richtlinien betonen die Notwendigkeit kontinuierlicher, iterativer Evaluierungen. Anstatt sich auf eine einzige Bewertung zu verlassen, sind regelmäßige Checkpoints – oder noch besser, ein System, das die Beweisbasis kontinuierlich aktualisiert, sobald neue Daten verfügbar sind – viel effektiver. Dieser Art flexibler Ansatz ermöglicht Entscheidungsträgern, schnell anzupassen und fundierte Entscheidungen zu treffen, während die Technologie und ihre Auswirkungen sich weiterentwickeln. Industrie-Insider loben den Leitfaden als wegweisend, da er eine strukturierte Methode zur Evaluierung von KI-Technologien in verschiedenen Sektoren bereitstellt. Er schafft ein Framework, das sowohl öffentliche als auch private Organisationen nutzen können, um die Effektivität und Sicherheit ihrer KI-Anwendungen zu gewährleisten. Die Firma behindert jedoch, dass die Implementierung dieser Evaluierungsstrategien erhebliche Ressourcen erfordert und daher von den beteiligten Organisationen sorgfältig geplant und durchgeführt werden muss.