L’IA ne comprend pas les Suisses

Les grands modèles de langage ne comprennent souvent pas les mots communs en Suisse romande comme « nonante » ou « natel ». Cette ignorance modifie considérablement la manière dont l'IA traite les Suisses.

Vous pouvez aussi écouter la version podcast de cet article.

Une expérience. Avec mon homologue du Temps Duc Quang Nguyen, nous avons demandé à quatre grands modèles de langage (LLMs dans leur acronyme anglais) de jouer le rôle d’un philanthrope qui attribue une bourse. Dans le premier cas, la bénéficiaire est une Suisse qui utilise un vocabulaire spécifique à la Romandie. Dans le second cas, c’est une Française qui parle le dialecte d’Île-de-France. Parmi les quatre LLMs interrogés, Mistral, Gemma3 et Qwen3 donnent significativement plus d'argent à la candidate française.

Dans une seconde expérience, les LLMs jouent le rôle d’un procureur qui requiert contre un voleur de téléphones mobiles dans un cas, de natels dans l'autre. Mistral et Gemma3 sont plus sévère avec les suspects Suisses, Llama3 et Qwen3 avec les Français. Les données et l’analyse sont disponibles en ligne.

Ignorance. Valentin Hofmann, maître de conférences à l’université LMU de Munich, a publié plusieurs articles scientifiques sur les biais de langage dans les LLMs. Son travail concerne surtout les dialectes de l’anglais et de l’allemand, mais il n’était pas surpris de voir les mêmes effets en français. Il m’a dit qu’on ne sait pas pourquoi les LLMs punissent les dialectes minoritaires. Il fait deux hypothèses. D’une part, il est possible que les données d’entraînement de ces modèles ne contiennent que peu de textes écrits en français de Suisse. D’autre part, les données d’entraînement peuvent transmettre au modèle des préjugés négatifs sur les cultures minoritaires. Hofmann a ainsi constaté en anglais que, plus un modèle est grand, plus il discrimine les personnes qui écrivent dans le dialecte Africain-Américain.

Les LLMs que nous avons testé semblent surtout ignorer le français de Suisse. Les natels sont parfois interprétés comme étant de la drogue ou des bijoux. « Septante » est considéré comme une faute de frappe et corrigé en « sept cents. » Valentin Hofmann m'a dit que les LLMs ont tendance à juger négativement ce qu'ils ne connaissent pas. Cela peut expliquer pourquoi, dans l'ensemble, ils traitent moins bien les textes écrits en vernaculaire suisse.

Distance sémantique. Bien sûr, les prompts de notre expérience ne correspondent pas à la réalité. On ne cherchait pas à simuler une situation réelle, mais à mettre en évidence la distance sémantique entre des concepts, comme le fait de parler suisse et la culpabilité ou la compétence. (Je précise pour les plus éloigné·es des Alpes que les termes choisis ne sont pas du patois de fonds de vallée valaisanne, mais bien dans le dictionnaire.)

Les LLMs que nous avons testés sont « en poids ouverts », c’est à dire que l’on peut les faire tourner sur son ordinateur. De nombreuses sociétés et administrations en Europe les utilisent, principalement par soucis d’économie. Est-ce que les voix suisses sont automatiquement déformées dans les compte-rendus de réunions ? Dans les résumés de texte ? C’est loin d’être exclu.

Audits algorithmiques. Notre expérience ne porte que sur une unique version de quatre modèles de langage. Il existe des dizaines de LLMs à tester. Par ailleurs, on sait que les LLMs ne produisent pas les mêmes résultats selon le matériel informatique utilisé, ou selon que l’on utilise une interface web ou programmatique. Un journaliste, ou même une rédaction, ne peut à elle seule réaliser un audit algorithmique fiable.

Les gouvernements européens financent des centres de recherche. Mais leurs effectifs sont si minuscules qu’ils ne peuvent faire face à l’ampleur de la tâche. Le centre européen pour la transparence algorithmique, ouvert en 2023 à Séville, affirme vouloir étudier l’impact des algorithmes sur la société, mais n’a encore rien publié sur le sujet du traitement des dialectes par les LLMs. En Suisse, aucune administration n'a encore été désignée pour auditer les modèles d'IA. Jonas Zaugg, juriste à l'Office fédéral de la justice, m'a dit qu'en l'absence de cas avérés, les problèmes que l'on expose restent « de l'ordre de l'expérience de pensée. »