Ceci est la zone du cerveau qui s’active lorsqu’on savoure du chocolat. Ceci est la zone du joueur d’échecs. Ceci est la zone de la peur. Et du dégoût. Et du menteur. Et d’une langue étrangère. Et de l’alcoolisme. Bref, la neurologie a fait des bonds de géant depuis un quart de siècle: les cartes de notre cerveau se font de plus en plus colorées sur les écrans d’ordinateur... mais l’enthousiasme que suscitent ces images est souvent un peu trop hâtif.

C’est ce que démontre une équipe dirigée par Katherine Button, de l’École de psychologie expérimentale à l’Université de Bristol, avec son étude qui fait en ce moment jaser: passant en revue 49 méta-analyses de 730 études, elle conclut que le risque d’erreur est beaucoup trop élevé, dans 79% des cas. L’étude est parue le 10 avril dans Nature Reviews Neuroscience.

D’aucuns diront que ce n’était pas une totale surprise. Dans la dernière année, la psychologie a reçu elle aussi quelques gifles: recherches impossibles à reproduire, peut-être biaisées, parfois frauduleuses, souvent montées en épingle. On s’attendait à ce que ce type de critiques atteigne tôt ou tard le cousin plus «biologique» de la psychologie, à savoir la neurologie. Comme le résumait en décembre le psychologue Gary Marcus dans le New Yorker :

Ce qui se rend jusqu’aux journaux, c’est d’ordinaire une étude qui montre une corrélation modeste entre un aspect sexy du comportement humain, avec de gros titres tels que «le cerveau de la femme cartographié en 3-D pendant l’orgasme» ou «ceci est votre cerveau pendant le poker».

Sa critique était appuyée sur le fait qu’une fonction du cerveau est plus complexe que les seules connexions entre neurones dans une seule région. Sauf que les neurologues qui publient ces résultats le savent très bien. L’étude de Katherine Button pointe donc une réalité plus dérangeante: ces zones du cerveau de ceci et de cela ne sont pas le fait de journalistes pressés, mais de chercheurs pressés: la course à publier des résultats conduit à une surabondance de recherches dotées d'une «faible puissance statistique» —soit un type de recherche qui, dans beaucoup d’autres disciplines scientifiques, obtiendrait beaucoup moins de visibilité (voir encadré).

En un sens, les neurosciences souffrent de leur succès. Comme l’écrit le blogueur de la Société des psychologues britanniques, «les fruits les plus faciles à cueillir» l’ont à présent été —c’est-à-dire les comportements les plus apparents, les régions du cerveau si faciles à identifier qu’on pouvait se contenter de petits échantillons de gens ou de souris. Aujourd’hui, «la discipline est en quête d’effets plus subtils», qui peuvent varier d’un individu à l’autre.

Mais du coup, les chercheurs n’ont pas encore abandonné leur habitude des petits échantillons. De sorte que si on ajoute à cela la pression à publier rapidement, qui peut de plus conduire à s’appuyer sur les données fragmentaires déjà publiées ailleurs, on se retrouve devant une recette perdante.

La solution réside d’abord dans une prise de conscience du problème, ce qui pourrait être l’impact premier de cette étude, du moins selon ce qu’espèrent ses auteurs. Dans une lettre qu’elle signe dans le quotidien The Guardian de Londres, Katherine Button écrit que cette «prise de conscience» est croissante et qu’avec elle, viendront des pratiques qui, en d’autres disciplines, sont élémentaires: prendre davantage en considération la puissance statistique d’un échantillon, se faire plus transparent sur les données et les résultats.

Ce n’est pas un hasard si l’un des cosignataires, le psychologue Brian Nosek, est à la tête du Centre for Open Science, voué à la promotion de l’accès libre aux données scientifiques —et qu’il a créé cet organisme justement en réaction aux critiques à l’égard des recherches en psychologie.