Le bullshit-o-mètre
L'expérience. Une équipe de philosophes de l'université de Cambridge a créé un détecteur de bullshit. Ils et elle ont sélectionné mille articles récents publiés dans le journal scientifique Nature, puis demandé à ChatGPT d'en générer autant, sur la base de leurs titres uniquement. Ce corpus sert d'étalon pour le bullshit, au sens scientifique du terme : du texte écrit sans aucune considération pour la vérité factuelle. À partir de ces deux jeux de données, l'équipe a créé un outil de classification de textes, le bullshit-o-mètre. (La technique n'est pas différente des outils commerciaux de détection de textes généré par IA, m'a dit l'un des auteurs, mais la finalité l'est : il s'agit ici de classifier des textes écrits par des humains).
Les résultats. Les programmes des partis politiques britanniques de la seconde moitié du 20e siècle ont un score de bullshit très élevé, comparé à des conversations banales de la vie de tous les jours (issues du British National Corpus). Cela ne surprend personne mais permet de valider l'hypothèse de George Orwell, qui écrivait en 1946 que les écrits politiques se caractérisaient par leur « vacuité et [leur] incompétence. »
Pourquoi c'est important. Le bullshit-o-mètre est très drôle, mais il donne aussi une perspective historique aux chatbots des années 2020. Il met en évidence la filiation intellectuelle des créateurs des chatbots, pour qui la vérité factuelle n'est parfois qu'une victime collatérale de ce qu'ils appellent des « hallucinations ».