NYU-Professor setzt KI-Interviews ein, um KI-Arbeiten zu bekämpfen
Ein Professor der NYU Stern School of Business hat eine innovative Antwort auf die Herausforderung der KI-generierten Hausarbeiten entwickelt: KI-gestützte mündliche Prüfungen. Panos Ipeirotis, der an der Datenwissenschaft lehrt, wurde nach seiner Beobachtung, dass viele Studenten textlich brillante, aber inhaltsleere Arbeiten abgaben – „wie ein McKinsey-Memo, aber ohne echtes Verständnis“ – aktiv. Als er Studierende im Kurs zur Verteidigung ihrer Arbeit aufforderte, zeigten sich erhebliche Wissenslücken. „Wenn du deine eigene Arbeit nicht live verteidigen kannst, misst das schriftliche Dokument nicht das, was du denkst, dass es misst“, schrieb Ipeirotis in einem Blogbeitrag. Um dieser Entwicklung entgegenzuwirken, kombinierte er traditionelle mündliche Prüfungen mit moderner KI-Technologie. Er nutzte ElevenLabs’ Sprachtechnologie, um einen KI-Prüfer zu entwickeln, der Studierende in Echtzeit zu ihren Abschlussprojekten und klassischen Fallstudien befragte. Die Prüfung bestand aus zwei Teilen: Zuerst wurde die Entscheidungsfindung in den Projekten abgefragt, anschließend musste der Student eine Fallstudie live bearbeiten. In neun Tagen wurden 36 Studierende geprüft, wobei jede Sitzung etwa 25 Minuten dauerte. Die gesamten Rechenkosten beliefen sich auf rund 15 Dollar – deutlich weniger als eine menschliche Prüfung durch einen Tutor, die mehrere hundert Dollar kosten könnte. Zusätzlich setzte Ipeirotis drei KI-Modelle – Claude, Gemini und ChatGPT – ein, um die Prüfungen zu bewerten. Diese arbeiteten unabhängig, kritisierten sich gegenseitig, korrigierten ihre Bewertungen und kamen schließlich mit einer konsensbasierten Endnote, wobei Claude als „Vorsitzender“ fungierte. Laut Ipeirotis war die KI-Bewertung konsistenter, strenger und fairer als menschliche Urteile. Die Rückmeldungen waren zudem detaillierter und halfen, Lücken im Lehrstoff aufzudecken. Die Reaktion der Studierenden war gemischt. Wenige bevorzugten die KI-Prüfung, viele fanden sie stressiger als schriftliche Arbeiten – trotz der Anerkennung, dass sie echtes Verständnis besser messen. Ipeirotis betont jedoch, dass die Methode das wahre Lernen widerspiegelt: „Je mehr du übst, desto besser wirst du.“ Die Initiative kommt an einem kritischen Punkt: Universitäten weltweit ringen mit der Frage, wie man im Zeitalter von KI-Lernhilfen echtes Verständnis messen kann. Eine Studie aus September 2024 bezeichnete die Bewertung im KI-Zeitalter als „wicked problem“ – eine unlösbare Herausforderung, die durch Unsicherheit, Überlastung und fehlende Konsensbildung gekennzeichnet ist. Auch Reid Hoffman, Mitbegründer von LinkedIn, argumentierte, dass traditionelle Prüfungen wie Essays leicht ausgetrickst werden können und dass mündliche Prüfungen, die KI-Prüfer einsetzen, die Zukunft der Assessment-Praxis sein könnten. In der Branche wird Ipeirotis’ Ansatz als wegweisend angesehen. Er zeigt, dass KI nicht nur eine Bedrohung, sondern auch ein Werkzeug zur Verbesserung der Bildung sein kann – vorausgesetzt, sie wird ethisch und strategisch eingesetzt. Die Methode könnte zu einem neuen Standard in der Hochschulbildung werden, der Lernen, kritisches Denken und echte Kompetenz fördert.
