Ainsi, le 2 mars dernier, M. Guillaume Bourgault-Côté du Devoir, présentait une analyse d'un sondage mené par la firme Léger Marketing pour le compte de TVA, Le Journal de Montréal et The Gazette. Dans le deuxième paragraphe, il rapporte les intentions de vote pour les divers partis en ajoutant qu'environ 3100 personnes avaient répondu au sondage, donnant une marge d'erreur de 1,8 % 19 fois sur 20 (comme plusieurs d'entre vous le savent, ces chiffres représentent l'erreur statistique faite si les répondants, tous identiques, sont choisis parfaitement au hasard selon une distribution normale). Or, pas un mot sur le nombre d'indécis ni sur le nombre de personnes qui n'ont pas répondu au téléphone ou n'ont simplement pas accepté de répondre. Ces trois éléments sont pourtant essentiels à la validité d'un sondage.
Abonnez-vous à notre infolettre!
Pour ne rien rater de l'actualité scientifique et tout savoir sur nos efforts pour lutter contre les fausses nouvelles et la désinformation!
Commençons par les indécis. Si on additionne les chiffres du paragraphe suivant, il semble que 97 % des répondants savaient pour qui ils allaient voter. Bien que je ne sois pas sondeur, ce nombre m'apparaît étonnamment élevé, surtout pour une campagne où les enjeux sont relativement brouillés. Notons que même s'ils ne sont que 3 %, la répartition des indécis peut causer à elle seule une erreur supérieure à l'erreur statistique de 1,8 %. En effet, on ne peut pas supposer que les indécis vont voter suivant la même répartition que ceux qui expriment leur opinion. Au fil des années, les sondeurs québécois ont développé une méthode empirique de répartition des indécis qui reconnaît que la majorité d'entre eux votent plutôt libéral. Mais que faire cette année, alors que l'Action démocratique du Québec vient mêler les cartes?
Afin de bien évaluer un sondage, il importe également de connaître à fond l'échantillon, ce qui exige de savoir quelles sont les personnes qui n'ont pas décroché le téléphone ou ont raccroché immédiatement, refusant de répondre. En fonction de l'heure d'appel, la population à la maison varie énormément. Quoiqu'il en soit, un sondeur a certainement plus de chance d'attraper un retraité qu'une étudiante, qui a des cours et sort plus souvent. De même, il est plus probable que des parents de jeunes enfants soient à la maison qu'un célibataire dans la trentaine. Les gens sondés ne représentent donc pas un échantillon parfaitement aléatoire. Même une fois rejoint, ce n'est pas tout le monde qui accepte de partager ses opinions avec les sondeurs et ceux qui refusent n'ont pas nécessairement la même opinion que ceux répondent aux questions des sondeurs. La marge d'erreur annoncée par les sondeurs est toujours basée sur l'existence d'un échantillon représentatif de la population. Comme on vient de le voir, il est très difficile de construire un tel échantillon. Les sondeurs ne contrôlent pas les répondants et ne peuvent donc pas balancer leurs résultats afin de compenser. La marge d'erreur annoncée lors de la publication d'un sondage est donc généralement sous-évaluée, car le vrai échantillon obtenu par les sondeurs n'est pas une représentation uniforme des électeurs en général.
Il faut donc prendre les résultats des sondages avec un esprit très critique. Les résultats des dernières élections, tant au Québec qu'au Canada et en Europe, montrent que les sondages sont finalement très peu fiables. S’ils peuvent indiquer des tendances, lorsqu'ils sont répétés plusieurs fois, les valeurs numériques annoncées sont beaucoup moins fiables qu'on ne le dit à cause de problèmes méthodologiques difficiles à corriger par les sondeurs.
La morale de cette histoire est bien simple : avant de croire un chiffre, demandez-vous toujours comment il a été obtenu et, surtout, ce qu'il cache. C'est souvent dans le non-dit qu'on retrouve l'information la plus intéressante.
