Même Microsoft met en garde contre les modèles de langage
L’expérience. Des scientifiques de Microsoft ont testé la fiabilité des modèles de langage (LLM) comme ChatGPT. Ils (et elle) ont demandé aux LLMs d’effectuer des tâches puis de les annuler, et ils ont regardé si le document final correspondait au document initial. Par exemple, à partir d’un menu de restaurant, le LLM devait ajouter une description à chaque plat, puis la supprimer pour revenir au menu initial. Au total, ils ont effectué des dizaines de tests dans 52 domaines, de la cuisine à l’informatique (on peut lire leurs exemples en ligne).
Les résultats. Dans tous les domaines à l’exception de la programmation en Python, les LLMs ont été incapables de retourner les documents à leur état initial. Ils ont supprimé ou modifié entre 20 % et 90 % des informations contenues dans le document.
Pourquoi c’est important. Cette expérience est beaucoup plus réaliste que les benchmarks utilisés habituellement pour tester les LLMs. Elle montre que même les modèles les plus avancés continuent de produire des erreurs catastrophiques et, peut-être plus grave, totalement imprévisibles.