Il s’agissait en particulier de requêtes relatives à des informations qui peuvent s’appuyer sur des preuves scientifiques solides: la moitié des réponses à ces questions s’est avérée être « parfois » ou « souvent » problématique. 

L’étude, parue dans la revue BMJ Open, repose sur un échantillon de questions posées à Gemini, DeepSeek, Meta AI, ChatGPT et Grok. L'échantillon est petit, mais l’étude va dans la même direction que divers tests menés depuis trois ans: ceux-ci ont systématiquement accordé une mauvaise note à ces IA génératives, sur des sujets incluant autant la politique que la santé.

Les sept chercheurs américains, canadiens et britanniques, voient surtout dans leurs nouveaux résultats —les applications ont été testées en février 2025— un signal d’alarme sur le fait que c’est la façon même par laquelle ces chatbots sont « entraînés » qui est inadéquate : « les robots n’accèdent pas à des données en temps réel mais génèrent plutôt des réponses en inférant des tendances statistiques » —autrement dit, ils répondent à une question en utilisant la séquence de mots qui leur semble la plus probable, ce qui n’a évidemment rien d’un raisonnement rationnel. 

Le plus inquiétant, d’un point de vue de santé publique, est que « cette limite à leurs comportements signifie que les chatbots peuvent reproduire des réponses qui donnent l’illusion de faire autorité, mais sont potentiellement défectueuses ».

Et ce, dans un contexte où ces applications ont été rapidement adoptées par une partie du public, sans efforts pour éduquer le public sur leurs forces et leurs faiblesses. « Plusieurs personnes les utilisent comme des engins de recherche, incluant pour la santé au quotidien et pour des requêtes médicales. »