La question est loin d'être triviale. D'un point de vue formel, on ne peut classer que des comparables. Pour cela, il faut définir une échelle qui permet de positionner de manière unique les objets. Par exemple, on peut classer les objets par couleur en utilisant comme échelle le spectre d'un arc-en-ciel. On peut aussi les classer par taille ou par volume. Mais que faire, si je désire les classer à la fois par couleur et taille? La façon la plus simple est de les placer sur une grille en 2 dimensions, comme je le fais dans la figure ci-dessous.

Comment faire, maintenant, pour classer ces trois objets à la fois par couleur et taille en rang, comme on fait pour les écoles et les universités? Là, ça se complique. D'un point de vue formel, on ne peut pas faire cela. Il n'existe pas de règle ou d'échelle qui permettent de mesurer la différence entre un petit losange bleu, un cercle rouge et une grosse étoile verte. (En mathématique, on dirait que l'espace des propriétés de ces objets — taille, couleur, forme — est affine, c'est-à-dire qu'il ne permet pas de ranger ces objets de manière unique sur une ligne.)

Si on ne peut pas ordonner 3 formes géométriques de taille et de couleur différentes, comment s'y prend-on pour les universités? On invente une nouvelle règle qui dit qu'un rouge égale à la moitié d'une étoile et que 5 côtés valent plus que la couleur bleue. Vous trouvez que la phrase précédente n'a pas de sens? Voilà, vous comprenez maintenant la nature des classements qu'on publie à gauche et à droite : du pur non-sens! Comme disait mon collègue, Sjoerd Roorda: « J'ai 8 pieds : deux pour marcher et 6 de hauteur. »

Regardons un peu les critères pour le classement des universités :

1. Évaluation par les pairs. On demande à des professeurs ce qu'ils pensent des autres institutions. Puisque personne ne connaît des chercheurs dans toutes les institutions, les gens répondent normalement en se basant sur la réputation générale des universités. Ce qui veut dire que plus une université a de réputation, plus elle sera bien classée, menant, à une réputation plus grande, qu'elle soit ou non méritée.

2. Évaluation par les administrations. Même problème que ci-dessus.

3. Nombre d'étudiants internationaux. Ici on favorise directement les universités anglophones, car l'anglais est la langue de la science.

4. Citations. Les citations sont le nombre de fois que les travaux d'un chercheur sont cités dans les travaux d'autres chercheurs. Comme, la plupart du temps, on ne compte que les citations dans les articles publiés par des revues en anglais, diffusées aux États-Unis et en Angleterre, on met de côté les sciences sociales qui sont souvent préoccupées par des problèmes locaux : criminalité, urbanisme, droit, etc.

Une fois chacun des critères évalués, il faut ensuite additionner les résultats dans chacune de ces catégories afin d'obtenir un classement général. Combien d'étudiants internationaux valent une citation? Le problème est insoluble, bien sûr, alors on bricole une nouvelle règle à mesurer les universités qui a autant de valeur que celle que j'ai créée ci-dessus. Que le résultat n'ait pas de sens n'est pas important. Si on en parle assez, on va finir par y croire quand même.

La réalité est compliquée et ce n'est qu'avec des analyses nuancées qu'on peut vraiment la comprendre, pas avec des classements bidons qui font facilement la une : c'est tellement plus facile pour un journaliste de rapporter un chiffre, même sans signification, que de faire une analyse sérieuse.

Si vous pensiez que la boule magique était une fraude importante, pensez-y à deux fois. Les classements de tout acabit, publiés par des revues suposément sérieuses représentent une fraude bien plus grave qui affecte toute la société et non seulement les vendeurs de savon.