StoryScope révèle une signature narrative de la fiction IA
Des chercheurs ont cherché à comprendre pourquoi certaines histoires écrites par une intelligence artificielle paraissent plus artificielles que celles rédigées par des humains. Leur étude, intitulée StoryScope, ne s’est pas limitée aux indices superficiels comme le vocabulaire, les formules répétitives ou l’usage de certains signes de ponctuation. Elle a analysé les choix narratifs, c’est-à-dire la façon dont une histoire est construite. Les auteurs ont constitué une base de données à partir de 10 272 consignes d’écriture. Pour chacune, ils ont comparé une histoire humaine à cinq versions générées par des modèles d’IA : Claude, DeepSeek, Gemini, GPT et Kimi. Au total, 61 632 récits d’environ 4 753 mots ont été examinés. Les chercheurs ont ensuite extrait 304 caractéristiques narratives, portant sur les personnages, les motivations, les événements, la chronologie, la structure de l’intrigue ou les sous-intrigues. À l’aide de ces données, ils ont entraîné un modèle de classification. En excluant les marqueurs stylistiques, celui-ci est parvenu à distinguer les textes humains des textes générés par IA avec un score macro-F1 de 93,2 %. Les résultats baissent à 68,4 % lorsqu’il faut identifier précisément lequel des six types d’auteurs a produit le texte, preuve que reconnaître l’origine machine est plus facile que dater ou attribuer un modèle précis. L’étude révèle trois tendances principales dans la fiction générée par IA. D’abord, les modèles ont davantage tendance à expliquer explicitement le sens ou la morale d’une histoire : 77 % des récits IA présentent clairement leur thème, contre 52 % pour les récits humains. Les textes générés paraissent ainsi plus « propres », plus prévisibles, car ils évitent souvent l’ambiguïté. Ensuite, l’IA privilégie des intrigues plus linéaires. 79 % des histoires générées ne contiennent pas de sous-intrigues, contre 57 % pour les textes humains. Les conflits sont aussi plus souvent résolus par les choix du protagoniste : 69 % contre 46 %. Les auteurs humains, eux, recourent davantage aux timelines non chronologiques, aux personnages moralement ambigus et aux fins ouvertes. Troisième constat plus inattendu : l’IA exprime souvent les émotions par des sensations physiques, comme une poitrine qui se serre, une sueur froide ou les mains qui tremblent, dans 81 % des cas, contre 38 % pour les textes humains, qui utilisent plus souvent des termes émotionnels directs. Un point important concerne la résistance aux modifications. Les chercheurs ont appliqué un outil d’édition stylistique à 278 histoires générées par Gemini pour supprimer certains défauts typiques des textes d’IA. La classification humaine contre IA restait très élevée, à 93,9 % après édition, contre 95,5 % avant. Cela suggère que la structure narrative peut rester identifiable même lorsque la formulation est améliorée. Toutefois, l’étude comporte des limites. Elle porte sur des nouvelles de fiction, pas sur des courriels, des articles ou des posts sur les réseaux sociaux. Le jeu de données compare des textes associés aux mêmes consignes, ce qui ne reflète pas tous les usages réels de l’IA. De plus, certains traits narratifs sont eux-mêmes identifiés par des modèles de langue. Enfin, un bon score de classification ne prouve pas qu’un texte particulier a été produit par une machine. La contribution principale de StoryScope n’est donc pas de proposer un détecteur infaillible. Elle montre que l’analyse de la structure narrative peut fournir des signaux interprétables, indépendants du style superficiel. Pour améliorer la fiction générative, le défi ne consiste pas seulement à produire des phrases plus naturelles. Il s’agit aussi d’apprendre aux modèles à varier les rythmes, les ambiguïtés, les ruptures temporelles et les fins ouvertes, plutôt que de rechercher systématiquement une intrigue claire, cohérente et explicite.
