Zur automatischen Grenzenerkennung für menschlich-KI-kollaborative hybride Aufsätze im Bildungsbereich

Die jüngsten großen Sprachmodelle (LLMs), wie beispielsweise ChatGPT, sind in der Lage, bei gegebenen spezifischen Anweisungen menschenähnliche und flüssige Antworten zu generieren. Während man die durch technologische Fortschritte entstandene Bequemlichkeit anerkennt, hegen Bildungsexperten Bedenken, dass Studierende LLMs nutzen könnten, um ihre schriftlichen Aufgaben zu erledigen und diese als eigenständige, originelle Arbeiten vorzulegen. Obwohl zahlreiche Studien zur Erkennung von KI-generiertem Inhalt als Reaktion auf diese Bedenken durchgeführt wurden, modellierten die meisten dieser vorangegangenen Arbeiten die Erkennung von KI-Inhalten als Klassifikationsproblem und gingen davon aus, dass ein Text entweder vollständig menschlich verfasst oder vollständig von einer KI generiert ist. In dieser Studie untersuchten wir die Erkennung von KI-Inhalten in einem bisher selten betrachteten, jedoch realistischen Szenario, bei dem der zu analysierende Text gemeinsam von Menschen und generativen LLMs verfasst wurde (d.h. hybrider Text). Wir formalierten die Erkennungsaufgabe zunächst als Identifizierung der Übergangspunkte zwischen menschlich verfassten und KI-generierten Textabschnitten innerhalb eines gegebenen hybriden Textes (Grenzdetektion). Anschließend stellten wir einen zweistufigen Ansatz vor, bei dem (1) während des Encoder-Trainings KI-generierte Inhalte von menschlich verfassten Inhalten getrennt wurden; und (2) die Distanzen zwischen jeweils zwei benachbarten Prototypen berechnet wurden, wobei angenommen wurde, dass sich die Grenzen dort befinden, wo die größte Distanz zwischen zwei benachbarten Prototypen auftritt. Durch umfangreiche Experimente konnten wir folgende zentrale Erkenntnisse gewinnen: (1) Der vorgeschlagene Ansatz übertraf die Baseline-Methoden konsistent in verschiedenen Experimenteinstellungen; (2) Der Encoder-Trainingsprozess konnte die Leistung des vorgeschlagenen Ansatzes erheblich steigern; (3) Bei der Erkennung von Grenzen in hybriden Essays mit nur einer Grenze konnte der Ansatz durch die Verwendung einer relativ großen Prototypengröße verbessert werden, was zu einer 22 %igen Steigerung bei der In-Domain-Evaluation und einer 18 %igen Steigerung bei der Out-of-Domain-Evaluation führte.