Les auteurs ont utilisé en 2024, comme « cobayes », 288 chercheurs, incluant certains d’entre eux, répartis au hasard en 103 équipes: un tiers travaillant avec une application dite « large modèle de langage » dirigeant le processus de validation, un tiers avec une IA agissant comme assistante, et un tiers sans IA.

« Validation » —ou « reproductibilité »— réfère ici à cette étape indispensable au processus de construction du savoir scientifique: un résultat sera considéré comme plus solide s’il a pu etre reproduit de façon indépendante, par exemple par d’autres chercheurs qui ont passé les résultats au crible. 

C’est un processus coûteux, qui prend du temps, mais qui est aussi en partie réalisable par une application adéquatement programmée : il faut souvent passer au cible des colonnes de chiffres et en dégager des tendances. Par conséquent, un robot pourrait-il accomplir cette tâche de validation plus vite et pour moins cher?

D’après les chercheurs de plusieurs pays qui ont signé l’étude parue le 28 mai dans la revue PNAS, la réponse est mitigée, mais l’humain conserve néanmoins un avantage : les équipes « humains seulement » et « avec un assistant IA » obtiennent une performance similaire, mais toutes deux supplantent de loin les équipes « dirigées par IA » —avec un taux de succès plus élevé de 57% pour « humains seulement ». 

« Les équipes humaines étaient particulièrement efficaces pour identifier des problèmes sérieux dans l’analyse », incluant des « erreurs majeures » qu’elles détectaient, en moyenne, en plus grand nombre.

Les équipes « humains seulement » et « avec un assistant IA » étaient aussi « significativement supérieures » aux équipes « dirigées par IA » pour ce qui est de proposer (un avantage de 25%) et « d’exécuter » (un avantage de 33%) des contrôles de qualité, ou « contrôles de la robustesse » des résultats.