Étalonnage de l’IA : l’Estonie montre la voie

🎙️ Écouter cet article en version podcast.

Benchmarks. À chaque fois qu’un géant de l’IA sort un nouveau modèle, il se vante de dépasser ses concurrents sur une série de tests. Il y a par exemple Humanity’s Last Exam (« le dernier contrôle de l’humanité »), qui liste 2 500 questions de niveau doctorat dans une centaine de disciplines, comme par exemple « dans la mythologie grecque, qui était l’arrière-grand-père maternel de Jason » ? (Réponse : Hermès.)

Étalonnage. Ces épreuves, sans être inintéressantes, sont quasiment toujours en anglais. Surtout, elles sont très loin des cas d’usage réels de l’IA. Pour être utile, un modèle doit connaître la langue et le domaine dans lequel on compte l’employer, éviter de raconter des âneries et tenter de se défaire des préjugés contenus dans ses données d’entraînement. De plus en plus d’administrations mettent un place des étalonnages pour vérifier toutes ces dimensions.

Estonie. L’institut de la langue estonienne a publié début juin son propre classement des modèles d’IA. Il se fonde sur des questions liées à la langue et à la culture estonienne ainsi qu’à leur capacité à résister à la propagande russe. Krister Kruusmaa, responsable de l’alignement IA du projet, m’a dit que les résultats avaient déjà poussé certaines entreprises estoniennes à changer de modèle.

Mouettes. D’autres pays suivent la même voie. En mai, la Bundesdruckerei allemande a lancé le projet Möve (« mouette » en allemand). Le conseil national de recherches du Canada a publié CAN-Bench au même moment, mais n’a pas encore prévu de le mettre à jour à mesure que de nouveaux modèles sont mis sur le marché. À chaque fois, les questionnaires d’étalonnage testent les modèles d’IA sur les lois du pays ou, dans le cas de l’Allemagne, sur leur connaissance du système politique.

France. Aucun gouvernement francophone en Europe n’a encore réalisé un tel étalonnage. La France a bien compar:IA, mais ce classement se fonde sur les préférences exprimées par les internautes qui participent au projet ; on est loin d’une série de tests rigoureux. Le Pôle d’Expertise de la Régulation Numérique, qui a pourtant participé à compar:IA, m’a dit que l’étalonnage des modèles d’IA n’était pas de son ressort.

Chine. Le besoin est pourtant criant. En juin dernier, la Direction générale du Trésor, qui conseille le gouvernement français sur toutes les questions économiques, a remplacé en urgence le modèle de son chatbot interne. Il se fondait sur Qwen, le modèle en poids ouvert d’Alibaba. Les fonctionnaires de Bercy trouvaient ses réponses trop alignées sur les positions du gouvernement chinois. Ils l’ont remplacé par un modèle du français Mistral.

Classements. Pourtant, dans tous les étalonnages cités jusqu’à présent, les modèles de la famille Qwen surclassent allègrement ceux de Mistral, y compris dans les dimensions « résistance à la propagande » (en Estonie), « sécurité » (au Canada) ou « adhésion aux valeurs de la république » (en Allemagne). Quelque chose cloche.

Datafication. Le problème est insoluble. On ne peut pas résumer en un chiffre les performances d’un modèle. Même si les classements issus des étalonnages sont utiles pour attirer l’attention de décideurs distraits, ils ne pourront jamais appréhender la complexité des usages réels. Quand les étalonneurs décident de quoi mesurer, ils font des hypothèses, pas toujours fondées. Une responsable de la Bundesdruckerei m’a par exemple dit sans broncher que le projet Möve ne s’intéressait pas aux discriminations liées aux dialectes – pourtant avérées comme je l’ai montré dans le n°2 de Gargant’IA – car ce n’était pas un étalonnage à destination des administrations locales. Comme si les administrations nationales ne traitaient jamais avec des locuteurs de dialectes minoritaires !

Opacité. L’autre paradoxe insurmontable de l’étalonnage tient au manque de transparence. Les entreprises d’IA absorbent tout ce qu’elles trouvent pour entraîner leurs modèles. Si les questions d’un benchmark sont disponibles en ligne, les tests ne mesurent rien d’autre que la capacité des modèles à s’en souvenir. Pour fonctionner, les questions doivent rester cachées. Impossible pour les citoyen·nes ou les journalistes de vérifier leur pertinence. C’est loin d’être anodin quand il s’agit de vérifier qu’un modèle adhère à des valeurs morales.

Continuer malgré tout. Un bon étalonnage est impossible, mais il faut quand même aider les organismes publics à choisir les meilleurs modèles possibles. À l’institut de la langue estonienne, Krister Kruusmaa montre la voie à suivre. Il prévoit des analyses plus poussées, « dont les résultats ne seraient pas nécessairement réductibles à une échelle de 0 à 100. Mais qui offriraient une connaissance plus nuancée des valeurs que possèdent les modèles. »