"La surveillance dégrade les surveillants"

Le problème. Trois scientifiques expliquent que les systèmes d'IA agentiques rendent l'idée d'un « humain dans la boucle », quasiment toujours au coeur des discours sur l'IA responsable, de plus en plus obsolète. On sait que l'utilisation de l'IA dégrade nos capacités cognitives. Il est illusoire d'imaginer que les personnes qui approuvent les décisions des systèmes d'IA peuvent conserver leur esprit critique. C'est d'autant plus problématique que les système d'IA apprennent des réactions humaines, voire pourraient utiliser leur pouvoir de flatterie pour endormir encore plus ceux et celles qui les surveillent.

Les solutions. L'article dresse une typologie des solutions (pages 7-8). Les sytèmes d'IA pourraient demander aux surveillants ce qui les feraient changer d'avis, ou proposer plusieurs alternatives plutôt qu'un choix binaire. On pourrait imposer des pauses et des changement de poste, comme à l'usine. Ou encore glisser des leurres dans les actions à évaluer, que l'humain doit reconnaître comme tel, pour voir s'il est toujours réveillé.

Pourquoi c'est important. Margaret Mitchell, l'autrice principale, est directrice scientifique de l'éthique chez Hugging Face. C'est elle qui, en 2020, alors qu'elle travaillait chez Google, co-écrit l'article Des perroquets stochastiques, où elle anticipait la plupart des problèmes que causent les grands modèles de langage comme ChatGPT – et à la suite duquel elle fut licenciée. Or, Hugging Face vient de se faire racheter par NVIDIA. Pas sûr que son nouveau patron apprécie les perspectives critiques.

Margaret Mitchell, Avijit Ghosh, Samir Passi, AI Agents Push Humans Out of the Loop. pre-print, 6 sept. (en anglais)