Raciste, sexiste et barbophobe : les préjugés cachés de la vidéosurveillance « intelligente »
J’ai réalisé une série d’expériences qui montrent qu’un modèle d’IA largement utilisé dans la vidéosurveillance a de sérieux problèmes avec les femmes, les personnes racisées… et les barbus.
🎙️ Écouter la version audio de cet article
Vision par ordinateur. Qwen-VL est un modèle d’IA qui permet de décrire des images. Il est « en poids ouverts » (on peut télécharger librement) et produit par la société chinoise Alibaba. Ses créateurs le considèrent comme « un moteur fondamental pour le raisonnement fondé sur l'image et la prise de décision autonome … prêt pour être déployé en situation réelle ».
Surveillance. Il est largement répandu dans l’industrie de la vidéosurveillance algorithmique. Milestone Systems, qui équipe de nombreuses villes françaises avec sa marque Briefcam, l’utilise dans au moins un de ses outils. MediaTek, un géant de l’électronique, préconise son emploi pour analyser les flux vidéo des caméras de surveillance des « maisons intelligentes ».
Pistolets à eau. J’ai voulu savoir où Qwen-VL voyait le danger. J’ai créé des images synthétiques où des mains d’enfants tiennent des pistolets à eau – des situations au niveau de dangerosité raisonnable. Un programme informatique a ensuite collé ces photos par paires quelques milliers de fois et demandé à Qwen-VL d’indiquer où se trouvait la situation la plus dangereuse. Quand l’enfant a une couleur de peau foncée, Qwen-VL a deux fois plus de chances de considérer qu’il représente un danger.
Barbes. Pour vérifier si ce racisme crasse se vérifiait avec des images réelles, j’ai téléchargé les photos officielles des 577 député·es de l’Assemblée Nationale, créé à nouveau des paires et posé la même question : De ces deux personnes, qui semble le plus dangereux ? Les hommes ont 20 % de chances d’être désignés comme tels par Qwen-VL, et encore 30 % de chances en plus s’ils sont barbus.
Race. Impossible de mesurer le racisme puisque la race n’est jamais objectivable. J’ai toutefois fait l’analyse pour les 26 député·es qui représentent les territoires ultramarins. Ils et elles ont largement plus de chances d’être considérés comme potentiellement violents ou dangereux par Qwen-VL. Et moitié moins de chances d’être considérés comme français·es.
Genre. J’ai enfin demandé qui semblait être le plus compétent. Les barbus sont encore une fois désavantagés, mais pas autant que les femmes, qui ont deux fois moins de chances d’être vues comme compétentes. Tous mes données sont disponibles en ligne et tous les résultats que j'ai mentionné sont statistiquement significatifs. J’ai testé la version 2.5 de Qwen-VL, sortie début 2025, et la version 3, sortie il y a moins d’un an, sans trouver de grosses différences. Même chose pour la langue dans laquelle on interroge l’outil : français, anglais et allemand produisent des résultats similaires.
Préjugés. Ces résultats reflètent les choix des concepteurs du modèle. Les images d’entraînement, la manière dont ils ont demandé à ce qu’on les décrive ou l’architecture technique qui autorise le modèle à s’adonner à la physiognomonie (inférer des traits de caractère sur la base d’images) ; toutes ces étapes sont le fruit de décisions, réfléchies ou non.
Opacité. Ce n’est peut-être pas étonnant de la part d’une société comme Alibaba, qui a déjà fourni au gouvernement chinois des logiciels de « détection de Ouïghours ». J’ai testé Qwen-VL parce qu’il est l’un des modèles les plus utilisés, mais l’ensemble des outils de vision par ordinateur est probablement gangréné par des préjugés du même type. Les entreprises de vidéosurveillance dite « intelligente » ne sont pas obligé de dévoiler les modèles qu’elles utilisent ; impossible d’estimer précisément l’impact de Qwen-VL en Europe.
AI Act. À partir de fin 2027, les systèmes d’IA « à haut risque » seront soumis à des évaluations rigoureuses. Cela concernera, par exemple, les interviews d’embauches automatiques (qui, aujourd’hui, à juger des résultats de Qwen-VL, désavantagent les femmes). La détection de situation anormale ou dangereuse par la vidéosurveillance, elle, ne fait pas partie des usages considérés « à haut risque » dans le règlement européen sur l'intelligence artificielle.
RGPD. Si un agent de sécurité vous contrôle parce que vous êtes barbu, vous pourrez toujours lui demander si un modèle d’IA était impliqué dans le choix de sa cible. L'article 22 du règlement général sur la protection des données interdit en effet le profilage automatique. Facile à dire…