Neue AI-Erkennungsmethode von Uni Michigan: Hohe Genauigkeit, Niedrige Fehlalarmrate

Ein neues Werkzeug zur Erkennung von KI-Texten, das sowohl hohe Genauigkeit als auch niedrige Falschpositivitätsraten erreicht, wurde von einer Forscherteam der University of Michigan entwickelt. Das Team nennt ihr Werkzeug "Liketropy", eine Kombination aus den statistischen Konzepten Wahrscheinlichkeit (likelihood) und Entropie. Liketropy ist besonders nützlich in akademischen und politischen Kontexten, wo KI-generierte Inhalte zunehmend schwerer zu unterscheiden sind. Das Werkzeug verwendet "Zero-Shot-Statistische-Tests", die Texte ohne vorherige Schulung auf Beispiele von menschlichen oder KI-generierten Texten bewerten können. Es konzentriert sich auf Large Language Models (LLMs), eine spezielle Art von KI, die Text produziert. Liketropy analysiert statistische Eigenschaften des Textes, wie z.B. die Überraschungswerte und Vorhersagbarkeit der Wörter, um festzustellen, ob der Text eher menschlich oder maschinell erzeugt ist. In großen Datensätzen, einschließlich solcher, deren Modelle der Öffentlichkeit nicht zugänglich waren oder wo KI-generierte Texte speziell darauf ausgelegt waren, Detektoren zu täuschen, zeigte Liketropy ausgezeichnete Ergebnisse. Bei Tests, die auf spezifische LLMs abgestimmt waren, erreichte es durchschnittliche Genauigkeiten über 96% und Falschpositivraten von nur 1%. Tara Radvand, eine Doktorandin am Ross School of Business der University of Michigan und Mitautori des Studien, betonte die Vorsicht des Teams bei der Entwicklung des Detektors. "Wir haben sehr bewusst darauf geachtet, kein Werkzeug zu schaffen, das einfach Fingerzeige macht. KI-Detektoren können über selbstbewusst sein, und das ist riskant, insbesondere in Bildung und Politik," sagte sie. "Unser Ziel war es, vorsichtig mit Falschanklagen zu sein, während wir gleichzeitig KI-generierte Inhalte mit statistischer Zuversicht identifizieren." Eine unerwartete Erkenntnis war, wie wenig Wissen über ein Sprachmodell erforderlich war, um es zu erkennen. Dies legt nahe, dass die Erkennung von KI-Texten nicht unbedingt auf Zugang, Schulung oder Kooperation angewiesen ist, was ein gängiger Ansatz war. Die Forscher waren besonders darum bemüht, Fairness für internationale Studierende und Nicht-Muttersprachler zu gewährleisten. Studien zeigen, dass Studierende, die Englisch als zweite Sprache sprechen, oft fälschlicherweise als KI-generierte Texte gekennzeichnet werden, aufgrund ihres Tonfalls oder ihrer Satzstruktur. "Unser Werkzeug kann diese Studierenden dabei unterstützen, ihre Arbeiten in einem risikolosen, transparenten Prozess selbst zu überprüfen, bevor sie sie einreichen," erklärte Radvand. Zukünftige Schritte des Teams beinhalten die Erweiterung des Demonstrationswerkzeugs in verschiedene Bereiche. Sie haben erkannt, dass unterschiedliche Felder wie Recht und Wissenschaft sowie Anwendungen wie Studienbewerbungen unterschiedliche Schwellenwerte in der Spannungsbogen zwischen Vorsicht und Effektivität haben. Ein wesentlicher Einsatzbereich für KI-Detektoren ist die Reduzierung von Falschinformationen in sozialen Medien. Einige Werkzeuge trainieren absichtlich LLMs, extreme Überzeugungen anzunehmen und Falschinformationen in sozialen Medien zu verbreiten, um öffentliche Meinungen zu manipulieren. Da diese Systeme große Mengen von Fake-News produzieren können, ist es entscheidend, verlässliche Erkennungswerkzeuge zu entwickeln, um solche Inhalte und Kommentare zu markieren. Frühe Erkennung hilft Plattformen, den Verbreitungsumfang schädlicher Narrative zu begrenzen und die Integrität der öffentlichen Diskussion zu schützen. Radvand und ihr Team planen auch, sich mit Führungskräften der Universität und des Unternehmens zu treffen, um die Möglichkeit zu erörtern, Liketropy als Ergänzung zu U-M GPT und dem Maizey AI-Assistenten einzusetzen. Hierbei sollen überprüft werden, ob Texte von diesen Werkzeugen oder externen KI-Modellen, wie z.B. ChatGPT, erzeugt wurden. Liketropy erhielt den Preis für die beste Präsentation beim Michigan Student Symposium for Interdisciplinary Statistical Sciences, einem jährlichen Event, das von Graduierten organisiert wird. Es wurde auch von Paris Women in Machine Learning and Data Science, einer in Frankreich ansässigen Gemeinschaft von Frauen, die sich für Maschinelles Lernen und Datenanalyse interessieren, vorgestellt. Das Forschungsteam hofft, dass Liketropy dazu beiträgt, die Verwendung von KI-Texten transparenter und fairer zu gestalten. Die Fähigkeit, KI-generierte Inhalte zuverlässig zu erkennen, ist von entscheidender Bedeutung, um Missbrauch zu verhindern und die Glaubwürdigkeit von Texten in verschiedenen Bereichen zu gewährleisten. Die Forschung wurde auf dem arXiv-Preprint-Server veröffentlicht.