GigaCheck: Erkennung von LLM-generiertem Inhalt

Mit der steigenden Qualität und Verbreitung von LLM-basierten Assistenten wächst die Menge an LLM-generiertem Inhalt rapide. In vielen Fällen und Aufgaben sind solche Texte bereits nicht mehr von menschlich geschriebenen Texten zu unterscheiden, und die Generierungskualität neigt dazu, sich weiter zu verbessern. Gleichzeitig entwickeln sich Erkennungsmethoden langsamer, was es schwierig macht, den Missbrauch generativer KI-Technologien zu verhindern.In dieser Arbeit untersuchen wir die Aufgabe der Erkennung generierter Texte durch den Vorschlag des GigaCheck. Unsere Forschung erforscht zwei Ansätze: (i) die Unterscheidung zwischen menschlich geschriebenen Texten und LLM-generierten Texten sowie (ii) die Erkennung von LLM-generierten Intervallen in menschlich-maschinellen kollaborativen Texten. Für den ersten Ansatz nutzen wir ein allgemeines LLM, das seine umfangreichen Sprachfähigkeiten nutzt, um effizient für die nachgelagerte Aufgabe der Erkennung von LLM-generiertem Text feinjustiert zu werden. Dies ermöglicht eine hohe Leistung auch bei begrenzten Datenmengen. Für den zweiten Ansatz schlagen wir einen neuen Ansatz vor, der Computer Vision und Natural Language Processing (NLP)-Techniken kombiniert. Insbesondere verwenden wir ein feinjustiertes allgemeines LLM in Verbindung mit einem DETR-ähnlichen Detektionsmodell, das aus der Computer Vision adaptiert wurde, um AI-generierte Intervalle innerhalb von Texten zu lokalisieren.Wir evaluieren den GigaCheck anhand von fünf Klassifikationsdatensätzen mit englischen Texten und drei Datensätzen, die für die Analyse menschlich-maschineller kollaborativer Texte entwickelt wurden. Unsere Ergebnisse zeigen, dass GigaCheck frühere Methoden übertrifft, sogar in out-of-distribution-Szenarien, und eine starke Baseline auf allen Datensätzen etabliert.