Une nouvelle manière de détecter l’IA

L’expérience. Une équipe de l’université du Maryland a téléchargé un peu plus de 10 000 nouvelles d’une vingtaine de pages (toutes en anglais). Elle a demandé à cinq modèles de langage avancé, comme ChatGPT 5.4 ou Claude Sonnet 4.6, de rédiger des récits équivalents, fondés sur les mêmes arcs narratifs et sur les mêmes personnages.

Les résultats. La structure des textes rédigés par les LLMs est très reconnaissable. Les humains ont des personnages plus ambigus. Nos histoires sont moins bien ficelées, avec beaucoup de flashbacks et de fast-forwards. Les humains parlent beaucoup plus souvent directement aux personnes qui les lisent. Plus surprenant : Les LLMs utilisent beaucoup plus de métaphores olfactives.

Pourquoi c’est important. En utilisant uniquement les informations de structure, et non pas de style, les universitaires réussissent à détecter les textes générés par IA neuf fois sur dix. Les détecteurs d’IA se fondent aujourd’hui en majeure partie sur le style et le vocabulaire – et ça ne fonctionne pas vraiment. Ce travail universitaire pourrait marquer le début de détecteurs d’IA beaucoup plus fiables.

Jenna Russell et al., StoryScope: Investigating idiosyncrasies in AI fiction. pre-print, 13 avr. (en anglais)