---

Cet article fait partie de la rubrique du Détecteur de rumeurs, cliquez ici pour les autres textes.

---

 

Un portrait qui sera toujours imparfait

Aucun sondage ne peut être parfait. Avec un échantillon de 1000 personnes, la « marge d’erreur » est évaluée à plus ou moins 3 %, 19 fois sur 20. C’est-à-dire qu’il reste une chance sur 20 que les résultats du sondage s’écartent de plus de 3 % du taux de vote réel.

On peut réduire cette marge d’erreur en augmentant la taille de l’échantillon. C’est ce que permettent les sondages internet qui représentent désormais quelque 80 % de l’ensemble des sondages. Leurs résultats devraient donc être plus près de la « vérité », mais ils ont d’autres limites.

 

1) Les limites des échantillons

Les équations qui servent à calculer les marges d’erreur présument que l’échantillon reflète la diversité de la population qu’on veut sonder. On veut ainsi éviter de joindre, par exemple, trop de personnes d’un même groupe d’âge ou d’un même quartier. Avec un sondage téléphonique, c’est facile, puisqu’on peut littéralement appeler des numéros de téléphone au hasard, parmi une liste de profils déterminés.

Or, les répondants des sondages internet ne sont pas choisis au hasard au sein de la population générale. Les sondeurs se constituent des groupes de dizaines, voire de centaines de personnes, qui sont un reflet de la population et qu’ils peuvent joindre rapidement et facilement pour des sondages. Il ne s’agit donc pas de véritable hasard. Il y a un risque de biais puisqu’on n’est pas assuré que les répondants sont représentatifs de la population.

Et même si les sondeurs s’assurent de réduire les biais démographiques, il reste que les répondants de ces groupes web sont souvent plus engagés politiquement. Selon une enquête du Centre de recherche Pew en 2016, ils auraient plus de chances, aux États-Unis, d’être démocrates, célibataires et sans enfants.  

Certaines firmes de sondage affirment au contraire que les sondages internet sont plus fiables que les sondages téléphoniques, puisqu’elles peuvent mieux calibrer la composition des panels pour représenter la population.

En 2015, une revue de littérature de l’Institut national de la recherche scientifique qualifiait pour sa part les sondages internet de prometteurs, si leurs limites méthodologiques sont prises en considération et s’ils sont utilisés « avec rigueur et discernement ».

 

2) Les sondages Internet visent-ils moins juste?

Toutes catégories confondues, les sondages correspondent bien aux résultats des urnes, si on en croit une étude publiée en 2018 dans la revue Nature Human Behaviour. Après avoir analysé 30 000 sondages électoraux de 351 élections générales dans 45 pays entre 1942 et 2017, les auteurs ont conclu que les sondeurs se trompent de temps à autre, mais que rien n’indique une crise de fiabilité des sondages.

L’étude ne dit cependant rien sur ce que sont les meilleures méthodes, entre les sondages téléphoniques classiques (où l'électeur parle à une vraie personne), les appels robotisés (l’entrevue se fait au téléphone, mais les questions sont posées par un robot) ou les sondages web (beaucoup plus fréquents qu’avant, parce que les gens répondent de moins en moins aux sondages téléphoniques).

Claire Durand, professeure au département de sociologie de l’Université de Montréal, spécialiste de l’analyse des sondages, soulignait dans une entrevue à La Presse que dans l’élection américaine de cette année, tout comme en 2016, les sondages téléphoniques automatisés semblent avoir été plus précis que les sondages web. Les sondages automatisés ont des échantillons plus probabilistes et plus représentatifs.

Lors de la précédente campagne présidentielle, les appels automatisés ont un peu mieux fait que les autres méthodes, se trompant en moyenne par 2,8 points contre 3,2 à 3,9 pour les autres, soulignaient des experts, dont Claire Durand, dans un «post-mortem» publié en 2018.

Ceci dit, la qualité des sondages web peut être très variable d’une compagnie à l’autre, avait conclu l’enquête Pew de 2016 qui avait noté des « différences substantielles » dans la qualité des méthodes retenues pour former les groupes de répondants.

Le site d’agrégation de sondages et de prédictions électorales FiveThirtyEight, du statisticien américain Nate Silver, a trouvé, en prenant en compte toute la dernière décennie, que les appels «en personne» semblent faire légèrement mieux que les autres, en autant qu’ils incluent des numéros de cellulaires. Mais la différence est faible.

 

3) Le problème des cellulaires

La question des numéros de cellulaire n’est pas un mince détail. Le site accorde la même note de F, autant à des firmes de sondage qui font des entrevues téléphoniques sans assurance que les cellulaires soient inclus, qu’à des firmes qui font des appels robotisés. À l’inverse, une compagnie qui fait des sondages robotisés, en ligne et téléphonique (incluant les cellulaires) reçoit un A et un sondeur qui n’utilise que les appels téléphoniques classiques (incluant les cellulaires) obtient un A+.

En incluant les numéros de cellulaires, les sondages téléphoniques permettent de joindre l’ensemble des ménages de façon aléatoire, comme au temps où tous avaient un téléphone fixe à la maison. En n’ajoutant pas les cellulaires, les sondeurs se coupent d’une partie de la population.

 

Verdict

Dans l’ensemble, les sondages électoraux sont fiables, mais les sondages web suscitent un doute. Les coups de sonde réalisés par téléphone semblent légèrement plus près de la « vérité » que ceux des sondages en ligne. Mais d’un autre côté, la demande pour les sondages en ligne semble vouée à rester, si un grand nombre de gens continue de ne pas répondre au téléphone.