Vous vous souvenez peut-être de mon précédent billet sur la revue par les pairs. Moi et le second arbitre avions des évaluations diamétralement opposées au sujet de l’article que je devais évaluer. J’avais recommandé que l’article soit rejeté alors que l’autre arbitre l’avait trouvé très bon. En raison de ces divergences, l’éditeur a décidé de ne pas rejeter d’emblée l’article, mais d’exiger qu’il soit resoumis avec des modifications majeures.

Les auteurs ont fait leur devoir, suivi mes recommandations et resoumis l’article. J’ai été à nouveau choisi comme arbitre. L’éditeur semblait tenir à m’avoir, car il m’a redemandé d’évaluer l’article en acceptant de déplacer la date limite pour m’accommoder. Il faut dire qu’il m’avait quasiment tordu le bras pour que je fasse la première évaluation.

Abonnez-vous à notre infolettre!

Pour ne rien rater de l'actualité scientifique et tout savoir sur nos efforts pour lutter contre les fausses nouvelles et la désinformation!

J’ai donc réévalué l’article. Dans cette nouvelle mouture, la plupart des faiblesses que j’avais identifiées ont été corrigées. Bien que selon moi, il restait encore des points à améliorer et que j’ai transmis à l’auteur, j’ai recommandé que cet article soit accepté dans cette nouvelle version.

Il est à noter qu’il est rare que ce genre de situation se produise. En général, un article rejeté n’est pas récupérable et ne peut être resoumis à la même revue. Cela ne veut pas dire cependant que les auteurs ne peuvent pas utiliser les commentaires des arbitres pour améliorer leur article et le soumettre à une autre revue. Il semble que dans certains domaines, ce soit une pratique courante. Il est aussi possible que l’article ne correspond pas aux sujets couverts par la revue. Dans ce cas, il est parfaitement justifié de le resoumettre ailleurs. Il existe aussi les cas plus extrêmes et, malheureusement trop courants, où l'article est tellement pourri qu'il n'y a absolument aucun espoir possible de le récupérer sauf en reprenant toute la recherche du début. Dans ces cas là, je me demande souvent comment les auteurs ont put obtenir leur diplôme.

Dans le cas présent, le fait que les deux arbitres divergent énormément d’opinion à jouer en faveur des auteurs. De plus, j’avais tout de même noté que l’article avait une pertinence scientifique. L’éditeur a donc donné une chance au coureur. L’autre situation où l’éditeur pourrait accepter que l’article soit resoumis, c’est dans le cas où un des arbitres rejette l’article de façon cavalière. Du genre, «La technologie étudiée est inutile!», «C’est de l’autoplagiat! (Quand il y a un paragraphe commun entre deux articles)» ou «Cette revue de littérature est inutile à l’ère d’internet!» sans autre forme de procès. Dans ces cas, l’auteur peut tenter d’en appeler au bon jugement de l’éditeur et demander qu’on lui donne le droit de resoumettre son article.

Excluant les cas où l’article est vraiment pourri et ne nécessite pas plus de 5 secondes d’analyse, ce genre de commentaires peut venir d’une petite vengeance personnelle de l’arbitre. C'est pourquoi certaines revues demandent aux auteurs de donner une liste d’arbitres potentiels et aussi une liste d’arbitres à ne pas inviter.

Personnellement, je crois qu’il y a des causes plus profondes à ce genre de comportement : l’écœurite aiguë consécutive à un excès d’arbitrage. En effet, si vous êtes un arbitre raisonnablement consciencieux, les éditeurs ont tendance à vous redemander sur une base régulière de réviser des articles. À un certain moment, cela devient carrément ridicule. À une certaine époque, on me sollicitait une fois par semaine, soit à peu près autant que les pourriels des nouvelles revues scientifiques à accès libre.

Pour souffler un peu, les outils informatiques entourant l’arbitrage permettent de désigner des périodes où l’on n’est pas disponible. Cela permet de se concentrer sur son travail pendant les périodes plus intenses et de prendre des vacances à l’occasion. Le problème est que cela produit un contrecoup la journée même où vous redevenez disponible, car les éditeurs sont prêts à attendre un peu, plutôt que de chercher un nouvel arbitre. Par exemple, cette année j’ai pris un congé d’arbitrage jusqu’au 31 décembre 2013 et, depuis le premier janvier, j’ai reçu trois demandes d’arbitrage de trois revues différentes! Dans de telles circonstances, on peut comprendre certains arbitres de perdre patience et de ne pas perdre de temps à faire une analyse détaillée des articles, quitte à agir comme des béotiens.

Il reste que la révision des articles se fait sur une base volontaire et bénévole. De plus, elle se fait de façon anonyme, de sorte que les chercheurs n’en retirent aucun avantage professionnel. Pour atténuer ce problème, plusieurs revues ont décidé de produire des certificats reconnaissant la qualité du travail de révision fait par les arbitres.

Espérons que ces initiatives visant à encourager un arbitrage de qualité se multiplient dans le futur.

Ajout 20 janvier 2014

On m'a fait parvenir une caricature illustrant ce genre de conflit entre les arbitres..

Je donne