Chatbots: L’impossible audit
L’expérience. Des universitaires étasuniens voulaient savoir à quel point les chatbots encouragent les utilisateurs dans leurs délires de grandeur ou dans leurs théories complotistes. Ils ont simulé des conversations avec deux versions de ChatGPT, les modèles 4o (sorti en mai 2024) et 5 (août 2025). L’expérience a été faite à la fois dans l’interface web standard, à la main, et dans l’interface programmatique (API) qui permet d’automatiser les tests.
Les résultats. Alors, oui, ChatGPT encourage les délires de ses utilisateurs, bien qu’il soit très difficile de mesurer le phénomène. Les conditions expérimentales ne reflètent jamais bien la réalité. Ce qui est bien plus important, c’est que les résultats de l’interface web n’ont rien à voir avec ceux de l’API. L’expérience a été répétée à deux mois d’intervalle. Là encore, les résultats d’août étaient différents de ceux d’octobre.
Pourquoi c’est important. Les audits algorithmiques se font quasiment exclusivement via les API. Tout simplement car personne n’a les moyens de payer les petites mains nécessaires à tester ces systèmes via les interfaces web ou mobile. Si les résultats des APIs ne reflètent pas la réalité, tout l’audit des chatbots est à repenser.