Détection des limites du texte généré par IA avec RoFT

En raison du développement rapide des grands modèles de langage, les personnes rencontrent de plus en plus souvent des textes qui peuvent commencer par être écrits par un humain mais se poursuivre par une génération automatique. La détection de la frontière entre les parties écrites par un humain et celles générées par une machine est un problème complexe qui n'a pas encore reçu beaucoup d'attention dans la littérature. Nous tentons de combler cette lacune et examinons plusieurs méthodes pour adapter les classifieurs de détection de texte artificiel d'avant-garde à la tâche de détection de frontières. Nous poussons tous les détecteurs à leurs limites, en utilisant le benchmark Real or Fake qui contient des textes courts sur plusieurs sujets et inclut des générations de divers modèles de langage. Nous exploitons cette diversité pour examiner en profondeur la robustesse de tous les détecteurs dans des configurations inter-domaines et inter-modèles, afin de fournir des points de référence et des pistes pour les recherches futures. En particulier, nous constatons que les approches basées sur la perplexité pour la détection de frontières tendent à être plus robustes aux particularités des données spécifiques à un domaine que l'apprentissage supervisé du modèle RoBERTa ; nous identifions également quels aspects du texte perturbent les algorithmes de détection de frontières et nuisent à leur performance dans des configurations inter-domaines.