À première vue, le résultat avait de quoi choquer: plus de la moitié des revues en accès libre auxquelles ont été envoyées une recherche bidon, l’ont acceptée. Le test a été effectué par John Bohannon, journaliste pour la revue Science, entre janvier et juin 2013, auprès de 304 revues scientifiques qui offrent l’ensemble de leur contenu gratuitement —soit l’accès libre, ou open access. Lors de la dernière compilation, sa «recherche» avait été acceptée par 157 de ces revues, tandis que 98 l’avaient rejetée.
Abonnez-vous à notre infolettre!
Pour ne rien rater de l'actualité scientifique et tout savoir sur nos efforts pour lutter contre les fausses nouvelles et la désinformation!
Le problème, immédiatement dénoncé par un nombre embarrassant d’experts, c’est que cette enquête aurait une valeur scientifique... si un nombre comparable de revues qui ne sont pas en accès libre avaient été testées. Pour tourner le fer dans la plaie, le biologiste Michael Eisen —indéfectible partisan de l’accès libre— a rappelé que c’est la revue Science elle-même qui, en décembre 2010, avait publié une recherche sur une «bactérie à l’arsenic», suffisamment douteuse pour avoir été descendue en flammes en moins de deux.
De toute évidence, nous ne savons pas ce que les revues vendues sur abonnement auraient fait avec [l’étude bidon] mais nous avons toutes les raisons de croire que plusieurs l’auraient également accepté. Tout comme des journaux en accès libre, beaucoup de journaux sur abonnement ont un modèle d’affaires basé sur l’acceptation d’un grand nombre d’articles, sans égard à leur importance ou leur validité.
En fait, poursuit-il, ce ne serait pas l’accès libre qui serait en cause ici, mais la révision par les pairs.
La véritable histoire, c’est qu’un certain nombre de journaux qui ont effectivement soumis ce texte à une révision, l’ont accepté, et la leçon que les gens devraient retenir de cette histoire n’est pas que l’accès libre est mauvais, mais que la révision par les pairs est une blague.
Même argument de la part de
- Martin Eve, de l’Université de Lincoln dans The Conversation —«l’opération Bohannon ajoute peu à ce que nous savions déjà»—
- de l'anthropologue John Hawks, pour qui le traditionnel anonymat de la révision par les pairs a fait son temps,
- de l'expert en fraude scientifique John Iodannis —«Je crois que vous verriez le même problème avec les traditionnels journaux révisés par des pairs de bas niveau»—
- de l'éditeur du (réputé) journal en accès libre Journal of Medical Internet Research, Gunther Eysenbach —«du journalisme sensationnaliste malheureusement publié dans une revue appelée Science»—
- et du professeur à l’université norvégienne de Tromsø, Curt Rice, dans The Guardian :
De mauvais travaux sont publiés. C’est une crise pour la science et c’est une crise sur laquelle Science braque un projecteur cette semaine. Mais Science en comprend mal la cause, qui n’est pas le fait de rendre les résultats des recherches accessibles gratuitement, mais l’effondrement du système de révision par les pairs. Nous avons besoin de changement. C’est l’âge numérique qui autorise ce changement, et ce sont les meilleurs des journaux en accès libre qui sont les chefs de file vers de nouvelles approches à la révision par les pairs.
En un sens, l’article de Science en convient, mais il faut parcourir plusieurs dizaines de paragraphes, après la description de l’étude bidon et de ses résultats, pour en entendre parler. Dans les mots de Paul Ginsparg, fondateur d’ArXiv —le dépôt électronique vieux de 22 ans qui est le père de toutes les initiatives d’accès libre— «l’obligation la plus élémentaire pour une revue scientifique, c’est d’effectuer une révision par les pairs».
Le piège tendu par Bohannon était classique: une recherche concluant à l’efficacité anti-cancer d’un composé extrait du lichen, le tout signé par le biologiste Ocorrafoo Cobange, de l’Institut Wassee de médecine à Asmara, Éthiopie. Ni le biologiste, ni l’Institut n’existent, et «n’importe quel réviseur sérieux en chimie», dénonce Bohannon, aurait dû promptement rejeter cette recherche tant ses faiblesses méthodologiques sautaient aux yeux.
Bohannon y voit donc une occasion pour attaquer l’univers nébuleux et sans surveillance que serait devenu le mouvement d’accès libre, depuis ses débuts «humbles et idéalistes» d’il y a une décennie. De fait, tout scientifique qui se respecte a reçu des courriels sollicitant sa contribution, moyennant paiement, à des revues surgies de nulle part. Puisque le principe de l’accès libre est qu’elles ne peuvent se financer par des abonnements, l’une des formules consiste à faire payer les auteurs: mais n’importe qui peut lancer une telle revue et se mettre à solliciter des contributions... et certains éditeurs peu scrupuleux ne s’en privent pas.
Le phénomène est tellement bien connu qu’il a un nom depuis quelques années: les éditeurs prédateurs. Il existe même une liste de ces journaux, tenue à jour par le bibliothécaire américain Jeffrey Beall, et un nombre anormalement élevé de journaux portant les mots «American» ou «European» dans leur titre sont basés en Inde ou au Moyen-Orient. La grande majorité (82%) des journaux qui ont accepté l’étude Bohannon sont dans cette liste.
Sauf que les revues en accès libre ne sont pas par définition prédatrices : le chef de file du domaine, PLoS One (Public Library of Science) figure parmi les revues qui ont rejeté l’article bidon, tout comme les revues publiées par les éditeurs réputés BioMed Central et Hindawi. Par ailleurs, les journaux prédateurs n’appartiennent pas qu’à d’obscurs éditeurs surgis de nulle part. On en a identifié quelques-uns qui sont la propriété des géants de l’édition scientifique Elsevier et Sage.
La solution? Il est évident que le système développé par plusieurs journaux prédateurs —recevoir un paiement de l’auteur— invite à la corruption, dans un monde où les chercheurs subissent une pression pour publier le plus tôt, le plus vite et le plus souvent possible.
Mais il existe d’autres modèles, rappelle Curt Rice dans The Guardian : sur près de 10000 publications recensées par l’Index des journaux en accès libre, les deux tiers ne facturent pas les auteurs, mais sont plutôt financées par les universités, par les organismes subventionnaires de la recherche ou par les associations professionnelles.
Le problème central reste une absence de contrôle de la qualité: un comité national ou international dont la première tâche serait de désigner les bonnes et les mauvaises revues, qu’elles soient en accès libre ou non. L’étiquette «révision par les pairs» a longtemps suffi comme gage de qualité, mais à l’heure du tout-numérique, il est temps de redonner du lustre à la formule.
[ Texte révisé le 6 octobre à 9h: Ajout des références Hawks, Iodannis et Eysenbach ]
