Le chercheur vient de publier un article qui détaille non seulement les limites du facteur d’impact, mais dénonce également l’inexactitude de l’évaluation de cet outil. « Le facteur d’impact comprend trois décimales après la virgule afin de départager les revues – et d’éviter les égalités – mais le raisonnement devrait être inversé : il se peut qu’une revue en vaille une autre », tranche le chercheur.

Le facteur d’impact d’un journal académique est une mesure de performance basée sur le nombre moyen d’articles scientifiques récents cités dans les deux dernières années. Par exemple, une revue savante très bien notée comme Nature a un facteur d’impact de 38,1. Pour Science, il est de 34,1 tandis que le facteur d’impact de PLoS One – revue en ligne – décroche un maigre 3,1.

Une disproportion qui devient douteuse à l’heure où les articles se consultent beaucoup sur Internet. « Ce n’est pas un bon prédicteur de la qualité d’une recherche. C’est un peu comme juger un livre par sa couverture plutôt que le livre lui-même », renchérit le Pr Larivière.

Cela reflète, selon lui, la domination des éditeurs à but lucratif dans l’édition des revues savantes. L’accent est mis sur les grands éditeurs au détriment de revues plus modestes, dont la recherche ne s’avère pas moins intéressante à lire. Le facteur d’impact, qui devait aider les bibliothécaires des universités à faire un bon choix de revues, serait devenu nuisible en raison de ses nombreux biais.

Plusieurs talons d’Achille

Le premier talon d’Achille serait que cet indicateur calcule les citations reçues par la revue par rapport au nombre d’articles publiés et donne une moyenne de distribution paramétrique non représentative. En statistique, la distribution normale suit une cloche, c’est pourquoi la moyenne et la médiane (le point milieu) sont souvent similaires.

« Ici, il y a une asymétrie vers la droite – quelques articles très cités – malgré beaucoup de valeurs à gauche (peu cités), ce qui fausse la moyenne et n’est pas représentatif pour les trois quarts des articles de la revue », soutient le chercheur. Sans compter que divers articles (lettre, éditoriaux, etc.) sont comptabilisés au numérateur, mais pas au dénominateur, où figurent seulement les articles de recherche, ce qui bonifie le facteur d’impact.

Autre problème, l’effet de renforcement du facteur d’impact au sein de disciplines scientifiques très dépendantes de cette évaluation, comme c’est le cas en santé – cela va influencer les subventions à la recherche. Sans compter que la fenêtre de citations, assez courte (deux ans) favorise certains domaines de recherche au dépend d’autres, plus lents, tels les sciences sociales.

Le prestige et la visibilité

« Tout cela renforce l’inégalité et ouvre la porte à la manipulation. Il y a, en Chine par exemple, des systèmes de rétribution des auteurs des publications basés sur le facteur d’impact et l'on a vu surgir des places d’auteur à vendre », détaille le chercheur. Cela permet de jouir de la visibilité des articles publiés dans les « bonnes » revues, sans compter l’effet boule de neige. « Une fois que l’on a publié un article dans Nature, la probabilité d'en publier un deuxième augmente – c’est l’effet Saint-Matthieu, la parabole du talent qui favorise les chercheurs les plus réputés », insiste le Pr Larivière.

Des revues prestigieuses, dont certaines sont pointées du doigt pour ne pas refléter l’exacte réalité, emboitent pourtant le pas en dénonçant à leur tour les biais du facteur d’impact des revues scientifiques, telles Nature ou Science – qui cosignent l’article, tout comme eLife, le EMBO Journal, le Journal of Informetrics ou encore les Proceedings of the Royal Society B.

Alors qu’elles bénéficient de cette visibilité opportune attachée au facteur d’impact, pourquoi les grandes revues savantes joignent-elles leur voix à la dissidence ? « Il s’agit de chercheurs à la base et la communauté scientifique se questionne depuis longtemps sur le bon système d’évaluation des revues. Ce qui est une bonne nouvelle ! », s’exclame le Pr Larivière.