Sa conclusion : 85 % des recherches analysées étaient reproductibles. « Notre article est plus optimiste que ce qu’on voit généralement. Il montre près de 70% de robustesse dans les résultats de ces études après la révision, entre ce qui est avancé et vérifié », assure le professeur en économie de l’Institut d’Ottawa et l’un des multiples auteurs de l’étude, Abel Brodeur.

Les travaux du Pr Brodeur et de ses collègues portaient sur l’analyse de données de milliers d’articles scientifiques afin d’en valider la reproductibilité et la réplicabilité computationnelles.

« La reproductibilité, c’est lorsqu’on reprend les mêmes données que les chercheurs et la réplicabilité, c’est lorsqu’on introduit de nouvelles données lors de la vérification. Il y a souvent des erreurs de codes facilement réparables lorsqu’on a accès aux données », explique Abel Brodeur.

« La science aspire à être cumulative », écrivent les chercheurs dans leur introduction. Les efforts de reproductibilité renforcent la fiabilité des résultats scientifiques, favorisent l’autocorrection et ils peuvent même « informer sur les décisions politiques ».

Ça se fait depuis plus longtemps en psychologie —sans doute la première discipline à avoir vécu sa crise de la reproductibilité, il y a déjà 15 ans. Imaginons par exemple une étude réalisée avec des étudiants dont un groupe boit de l’eau et l’autre, non. Puis, on mesure leur soif alors qu’ils regardent une photo de bretzel. « Si on change la variable, est-ce qu’on a la même chose ? C’est ce qu’on va chercher à vérifier », avance le Pr Brodeur.

Leur étude a consisté en une analyse de 110 articles issus de 12 journaux scientifiques, comme l’American Economic Journal ou le Journal of Political Economy. Elle a été menée par des équipes de milliers de scientifiques volontaires de plusieurs pays, lors de diverses séances tenues entre novembre 2023 et février 2024.

Chaque équipe de 3 à 5 chercheurs du même domaine devait repasser derrière une préanalyse pour valider les données et les statistiques et la robustesse des graphiques, mais aussi la capacité de reproduction de ces recherches. 

« Dans les articles, on a des erreurs de code dans 20% des travaux, ce qui est beaucoup trop. Il n’y a pas de révision des codes (« code review ») au sein des comités scientifiques. Il faut aussi valider les données et le contrôle des variables », relève le chercheur.

Même les articles les plus robustes peuvent avoir des éléments manquants et des lacunes dans leurs données. En s’attaquant à ces différents problèmes, les études en sciences sociales pourraient donc afficher des scores à la hausse.

Partage de données et transparence

Comment améliorer la fiabilité des sciences sociales? Idéalement, en étant transparent et en partageant les données, ce que certains chercheurs tardent encore à faire.

Abel Brodeur, qui est aussi le fondateur de l’Institute for Replication (i4Replication) pense que c’est également important d’un point de vue social et politique. 

Ce devoir de transparence et de partage des données apparaît par ailleurs à travers les initiatives d’Open science ou les « hackathons » – ces évènements collaboratifs et scientifiques pour élaborer des codes. L’initiative internationale SCORE (Systematizing Confidence in Open Research and Evidence) a pour projet de consolider la confiance dans les travaux de recherche en sciences sociales.

Ceci dit, on ne vise pas non plus une preuve empirique du niveau de celle qu’on peut obtenir en physique. « On n’a pas la vérité terrain (« ground truth ») lorsqu’on regarde les conséquences de l’augmentation de 2% du salaire minimum au Québec. Il y a un biais idéologique dans la collecte des données, cela rend plus compliqué d’arriver à un consensus en sciences sociales », convient le chercheur.

Ce qu’il a entrepris permet néanmoins de faire des tests de robustesse à travers les exercices de reproduction et de réplicabilité de telles études. Bientôt, l’équipe sera épaulée par l’IA afin de trouver des erreurs de code au sein de 50 000 articles.

Ce qui a pris des années à analyser sera ainsi réalisé en deux semaines. « L’IA ouvre la porte à plus de fiabilité, à un formidable gain de temps, mais aussi à de la prédictibilité des biais. En plus, la machine est plus patiente que les humains », note le Pr Brodeur.

Cela va permettre à l’équipe d’enchainer les événements pour rassembler des milliers de participants, afin de réaliser ce travail de vérification. Plus de 3500 experts avaient participé à 80 initiatives de ce type —nommées « replication games »— fin 2025.

« Nous allons aussi nous intéresser à des études en psychologie et après, élargir à des travaux en environnement et en santé publique : déforestation, maladies tropicales, pollution de l’air… Ils présentent des méthodes assez similaires », relève encore le chercheur.