De la fiabilité toute relative des sondages et autres baromètres

Il y a bientôt quatre semaines que le dernier baromètre RTBF/La Libre Belgique est paru et l’on a apparemment toujours pas fini de s’y référer. Je dois avouer que je suis toujours étonné de l’interprétation que l’on fait de la moindre évolution, même lorsque celle-ci concerne quelque dixièmes de points (avec une marge d’erreur supérieure à 3%), ou qu’elle est contredite par un autre sondage paraissant quelques heures ou quelques semaines plus tard.

Ainsi, au moment du dédoublement du baromètre trimestriel à la fin 2011, on se demandait lequel allait être le plus crédible. Quelques mois plus tard, j’ai plutôt le sentiment que c’est la crédibilité globale des sondages qui est atteinte vu les écarts constatés.

Par exemple l’un (RTL/Le Soir) pointait le MR à 21% en Wallonie au mois de mars. Une belle remontée de 3,5 points par rapport au sondage précédent. Sauf que l’autre sondage (LLB/RTBF) donnait le même MR dans cette même Wallonie à 18% trois semaines plus tôt, soit probablement le pire score d’un parti libéral depuis on ne sait quand. Si l’on ajoute à cela la tendance à considérer que “ce n’est pas le score qui importe mais la tendance” (qu’il conviendrait donc d’amplifier par anticipation), on en vient à avoir des interprétations totalement divergentes à partir d’évolutions de quelques points dont la crédibilité peut facilement être remise en cause.

Mais c’est en Flandre que les écarts entre sondages sont les plus importants. Ainsi concernant la popularité de Bart De Wever par rapport à ses rivaux, l’écart n’est pas de quelques points : de 20 points d’avances pour le sondage LLB/RTBF (d’où l’on conclut logiquement que Bart De Wever écrase tout), il passe à 4 points d’avance pour LeSoir/RTL et 2 points… de retard sur Kris Peeters dans le dernier sondage VRT/De Standaard. Comment faire un commentaire moindrement pertinent avec de tels écarts ? On a  apparemment trouvé une solution très simple : faire comme si les sondages des autres n’existaient pas. Une attitude très corporate mais dont on peut penser qu’elle n’est pas très rigoureuse. Seul le Standaard a, à ma connaissance, tenté de justifier le pourquoi de ces écarts – et les raisons pour lesquelles leur sondage serait plus fiable (voir ici).

A tout le moins, j’aurai cru que l’on prendrai des pincettes pour analyser des évolutions minimes et contradictoires. Puisque ce n’est pas le cas, étudions un peu plus en détail les limites de ces sondages.

Sondages par internet : une sérieuse distorsion

La première limite concerne le fait que tous les sondages commandés par des médias belges francophones sont effectués par internet. Or il s’agit là d’un biais important puisqu’une bonne partie de la population n’est pas atteignable par internet. C’est particulièrement le cas pour les personnes âgées ou ayant un niveau d’éducation assez bas. Les sondeurs tentent de remédier à ce biais en pondérant les résultats en fonction de critères comme l’âge, le sexe, l’emplacement géographique, le revenu, le niveau de diplôme, etc… Si l’on reprend le cas de pensionnés moins présents dans l’échantillon trouvé par internet, on sur-représente donc les choix fait par les quelques-uns que l’on arrive à sonder. Mais cela revient à supposer, par exemple, que le pensionné répondant à un sondage sur internet est représentatif, dans son expression politique, de l’ensemble des pensionnés. Or ce n’est pas le cas.

Un certains nombre d’études ont en effet montré que les personnes qui vont sur internet sont davantage politisées et ont des opinions politiques plus extrémistes ou protestataires que la population totale. Ces caractéristiques ont par exemple pu être observées dans la phase de pré-campagne présidentielle française. A la fin de l’année 2011, plusieurs sondages donnaient ainsi Marine Le Pen aux alentours de 22% ce qui lui permettait éventuellement de dépasser Nicolas Sarkozy et de se qualifier pour le second tour. Or il s’est avéré que tous ces sondages étaient effectués par internet. Une fois la campagne commencée, la plupart des sondages furent menés – au moins en partie – par téléphone, ce qui a ramené le vote Le Pen à un niveau plus proche du résultat final.

Si vous n’êtes pas encore convaincu par la non-représentativité des internautes, je vous conseille d’aller faire un tour sur les sites internet de La Libre Belgique ou du Soir (je ne parle même par de celui de La Dernière Heure). Si les commentaires présents en dessous des articles étaient représentatifs de la population globale, le Parti Populaire ou le FDF auraient dépassé les 20%, suivis de près par le RWF. Avant l’élection de 2010, Le Soir avait d’ailleurs organisé un sondage en ligne sans aucun souci de représentativité (mais au moins ceci était assumé) qui avait donné, de mémoire, un Parti Populaire à 11% et un PS autour de 18%. On sait ce qu’il en a été par la suite. Le Standaard avait également organisé le même sondage en ligne où la NVA pointait à… 51% des suffrages. La pondération tenant compte de la représentativité des répondants corrige ce biais mais pas complètement. Notons que la répétition d’un même résultat (la NVA à plus de 35% par exemple) n’est en aucun cas un gage de fiabilité. Si l’échantillon est mal constitué, la réponse donnée n’est pas fiable, même si l’on repose la même question à intervalle régulier.

Les sondages par internet sont donc largement pollués par la surreprésentation de ce que certains appellent “le petit peuple des forums”, soit des surexcités tuant le temps à fureter sur internet d’un blog extrémiste d’opinion à l’autre et lâchant parfois des commentaires dont la modération et l’intelligence sont inversement proportionnelles à l’anonymat dont ils peuvent jouir.

Le biais inhérent à ces sondages par internet – moins fiables donc que les sondages par téléphone mais qui ont l’avantage de coûter entre deux et quatre fois moins chers – dépend également de la manière dont est constituée la base de données à partir de laquelle on contacte les internautes. Plus celle-ci est large avec des moyens de “recrutement” diversifiées et plus elle sera représentative de la population. A l’inverse, un mode de recrutement unique (comme dans le cas des sondages en ligne précédemment décrits sur les sites du Soir ou du Standaard) a plus de chances de rencontrer un profil très particulier, non représentatif de la population dans son ensemble.

De ce point de vue, je ne connais pas le détail de la constitution des panels de IPSOS Belgique ou Dedicated Research. Je sais simplement qu’il est possible de s’inscrire directement sur le site de ces instituts. Si le cœur vous en dit, vous pouvez le faire directement ici et  [1]. Au-delà du fait qu’une partie de la population ne va pas ou très peu sur internet, seule une infime minorité y passent suffisamment de temps pour trouver un site de sondages où s’inscrire. Cette population-là est-elle véritablement représentative de l’ensemble des électeurs ?

Sondages internet versus sondages par téléphone

Ceci étant dit, quel peut être l’écart entre un sondage fait par internet et un sondage par téléphone, a priori plus fiable ? Il est évidemment difficile de répondre à cette question, mais dans le cas des sondages en Belgique, il est possible de comparer les résultats des sondages en ligne (LLB/RTBF et RTL/Le Soir repris en Flandre par De Morgen et VTM) avec le sondage par téléphone VRT/Standaard (qui ne concerne que la Flandre). Or l’écart est, pour certains partis, très significatif.

Ainsi alors que la NVA se situe, plus ou moins, autour de 38% dans les sondages internet, le parti de Bart De Wever n’a jamais dépassé les 35% dans le sondage VRT/Standaard. Dans la dernière livraison du sondage, la NVA est même en baisse à 33,5%. Un niveau certes très élevé mais en-deçà des scores stratosphériques flirtant avec les 40% que les sondages internet prêtent à ce parti. On retrouve ici les biais énoncées pour les panels internet : surreprésentation de partis protestataires et politisation plus grande entrainant des changements de votes plus importants en fonction des dernières tendances.

Un électorat plus conservateur et modéré semble donc sous-représenté dans les sondages internet. Cette idée est confirmée lorsque l’on regarde le score du CD&V dans le sondage VRT/Standaard. Celui-ci est clairement le 2ème parti flamand autour de 18-19% soit 4 points de plus que dans le dernier sondage LLB/RTBF. Un niveau dont on peut penser qu’il est davantage conforme à la réalité et correspond à la popularité d’un Kris Peeters par exemple. Le cliché du pensionné CD&V, fidèle à son parti, qui ne va pas sur internet et s’intéresse assez peu à la politique semblerait donc confirmé.

5 points d’écart donc. Ajoutez à ceux-ci les 3 points habituels de la marge d’erreur, et l’on peut donc dire que les sondages réalisés par internent sont fiables… à 8 points près. Dans ces conditions, ont-ils une quelconque utilité ? Fort peu à mon sens sauf pour donner des ordres de grandeur. De ce point de vue, la seule chose dont on peut être (à peu près) certains est que, au moment où ces sondages sont effectués, le PS domine le paysage politique wallon et la NVA son équivalent flamand. Au-delà de ce constat, non seulement les sondages ne sont qu’une photographie, mais celle-ci est très floue.

Les partis Flamands à Bruxelles : le flou total

Mais le pire en terme d’approximation et de conclusions hâtives a sans doute été atteint lorsque l’on parle pour des partis flamands à Bruxelles.

Ainsi le dernier sondage LLB/RTBF donne une répartition des voix pour ces différents partis (avec un score cumulé NVA + Vlaams Belang ayant une majorité absolue) à partir d’un échantillon extrêmement réduit. En effet si l’on rapporte le score cumulé de l’ensemble des partis flamands (10,5%) au nombre de personnes interrogées sur Bruxelles (901), on arrive au chiffre de… 95 personnes interrogées. Soit un échantillon bien trop réduit pour être fiable. Qui plus est, on imagine aisément que la pondération (par âge, sexe, activité professionnelle, etc…) n’est faite que pour l’échantillon des trois régions et pas à l’intérieur de ce sous-échantillon que constitue l’électorat flamand à Bruxelles. En d’autres termes, le poids respectif des partis flamands à Bruxelles ici affiché n’est pas beaucoup plus crédible que si vous alliez dans les rues de la capitale interroger 95 personnes au hasard.

Tout cela pour dire que, quelle que soit la population sondée, il convient d’avoir un échantillon suffisamment large et représentatif de cette population pour pouvoir en tirer des conclusions quelconques.

Mais la chose de loin la plus regrettable dans cette histoire est le crédit et l’utilisation que l’on fait de ces sondages. Concernant Bruxelles, certains journalistes ou politiques prévoient le blocage des institutions Bruxelloise du fait de partis séparatistes devenus majoritaires à Bruxelles. Alors que l’électorat Flamand à Bruxelles est relativement stable avec une domination de l’OpenVLD et du SPA qui n’a jamais été démentie depuis que le vote Vlaams Belang (largement dopé par des électeurs francophones) s’y est tassé après 2004[2].

Un intérêt prédictif nul : c’est la campagne qui fait l’élection

Cela paraît évident mais rappelons tout de même qu’un sondage fait deux ans à l’avance n’a, tout simplement, aucune valeur prédictive. Prenez au hasard les sondages deux ans avant une élection et vous aurez rarement une approximation du résultat final. Concentrons-nous par exemple sur les trois dernières élections en Belgique (2007, 2009, 2010). Côté francophone les pronostics ont systématiquement été déjoués. Ainsi, quel sondage de 2008 donnait 37% au PS ? Côté Flamand il n’y a peut-être que le succès du cartel CD&V/N-VA en 2007 qui était prévu. Mais l’on conviendra qu’avec un succès sur six, on est en-dessous de la probabilité statistique. Mieux encore, le même raisonnement peut être tenu pour les sondages fait six mois avant ces élections. Verdict : capacité prédictive nulle.

Cette situation n’est pas particulière à la Belgique. En France, on énonçait souvent comme règle que le candidat à la présidence donné gagnant en janvier n’était jamais celui élu en Mai. Valéry Giscard d’Estaing en 1981, Raymond Barre en 1988, Edouard Balladur en 1995, Lionel Jospin en 2002 et Ségolène Royal en 2007 en ont fait l’expérience. François Hollande a échappé à cette malédiction mais a vu son score de deuxième tour annoncé par les sondages (58%) fondre pour atteindre 51,7% à l’arrivée.

Cette situation s’explique par le fait que c’est aujourd’hui la campagne qui fait l’élection. Dans un contexte où l’électorat ne s’intéresse à la politique que durant la campagne (et encore) et est très volatil c’est en effet ce qui se déroule durant cette période très particulière qui détermine le vote. En Belgique, comme dans d’autres pays où la participation est élevée, une élection est gagnée par le parti ou la personnalité qui fait la meilleure campagne (Leterme et Reynders en 2007, Di Rupo et De Wever en 2009 et 2010) et arrive à imposer ses thèmes. A propos de l’élection fédérale de 2010, rappelons que 38% des personnes ayant voté pour la NVA auraient décidé de ce vote quelques jours avant l’élection voire le jours même de celle-ci[3]. En d’autres termes, si la campagne avait duré une semaine de moins, le score de la NVA aurait pu être de 18% et non de 28%. Tous les écarts que l’on nous présente aujourd’hui sont donc bien futiles au vu de la volatilité de l’électorat.

Mais le cas de la Belgique est encore plus particulier du fait du vote obligatoire. Ailleurs les indécis ont la possibilité de ne pas aller voter. Rien de tel en Belgique, où la peur du gendarme les oblige à aller glisser un bulletin dans l’urne, même contre leur volonté. Or les sondages sont par définition incapable de prédire le vote de ces indécis. A ce propos, le dernier sondage LLB/RTBF mentionne le chiffre de 30% d’indécis en Wallonie. Le chiffre pour la Flandre n’est malheureusement pas fourni, mais l’on peut raisonnablement penser que c’est cette réserve de voix qui fera basculer l’élection dans un sens ou dans l’autre.

Tout cela pour dire que la N-VA fera peut-être 35% en 2014[4]. Peut-être qu’elle fera aussi 15%. La vérité est que personne n’en sait rien et que ce n’est pas avec un sondage fait deux ans à l’avance que l’on aura le moindre indice à ce sujet. L’objectif pour chaque parti doit simplement consister à aborder ladite campagne dans les meilleures conditions. A cet égard, rappelons-nous de celle de 2010 où les circonstances étaient rien moins que catastrophiques pour les partis fédéralistes. Mais il y a encore un an et demi pour préparer cette campagne.

Dans cet intervalle, un certains nombre de choses se seront inévitablement produites. Certaines, même si leurs conséquences sont difficilement prévisibles, sont attendues. Citons dans cette catégorie le résultat des élections communales et ses suites. La NVA aura ainsi à gérer soit une progression moindre qu’attendu, et donc un ressac par rapport à 2010, soit une victoire. Cette dernière possibilité n’est d’ailleurs pas forcément la plus facile à gérer, puisqu’il leur faudra alors assumer l’exercice du pouvoir. Il y aura aussi des événements qu’il est aujourd’hui impossible d’anticiper, comme une reprise de l’économie ou une aggravation de la crise de l’euro.

L’incertitude est, et c’est heureux, totale quant à la manière dont se fera la campagne de 2014. La meilleure illustration en est certainement De Wever annonçant – le week-end même de la publication du dernier sondage en date – qu’il restera bourgmestre d’Anvers pour l’entièreté du mandat s’il est élu à ce poste. Pas de candidature au poste de ministre-président Flamand donc. Quelques jours plus tard, il annonçait que, bourgmestre d’Anvers, il quitterait la présidence de la NVA en 2013. Quel serait le score de la NVA après une campagne où De Wever ne serait ni candidat à une fonction exécutive ni président du parti ? Mystère, mais probablement moins que prévu. A peine sorti, le sondage est donc déjà obsolète.

Conclusion : une valeur descriptive faible, une valeur prédictive nulle

L’expression souvent utilisée “si les élections devaient avoir lieu dimanche prochain” est donc à la fois fausse et vide de sens. Vide de sens parce qu’il n’y aura pas d’élections dimanche prochain (ni le dimanche suivant) et que le gouvernement Di Rupo durera jusqu’à la fin de la législature. Elle est surtout fausse parce que si l’élection avait lieu dimanche prochain il y aurait eu une campagne électorale. Et que celle-ci aurait changé la donne dans un sens que nous ne connaissons pas.

Avec une valeur descriptive très faible (marge de 8 points) et une valeur prédictive nulle, on se demande à quoi peuvent servir ces sondages, sinon à humer l’air du temps. Mais force est de constater que ceux-ci fait ont pris une place prépondérante. Au mieux ils structurent le débat et le restreignent. Au pire ils le détruisent en promouvant une attitude moutonnière consistant à considérer que celui qui est en tête dans les sondages a forcément raison. Certains sondages ne sont donc pas seulement faux mais aussi nocifs si l’on a pas à l’esprit le caractère incertain et relatif de leurs résultats.


[1] Etant au Canada au moment d’écrire ce billet, je n’ai pas pu m’inscrire dans le panel IPSOS. Le site a en effet a repéré que je n’étais pas en Belgique. Aucun problème en revanche du côté de Dedicated Research.

[2] A ce propos, je me souviens que l’on avait déjà joué en 2003-2004 avec la crainte d’un Vlaams Belang majoritaire dans le vote Flamand à Bruxelles et donc capables de bloquer les institutions bruxelloises. Ce parti n’a finalement fait élire “que” six députés aux élections régionales de 2004 obtenant 33% des voix.

[3] Voir courrier hebdomadaire du CRISP No 2125, « Les électeurs de la NVA aux élections du 13 juin 2010 » par Marc Swyngedouw et Koen Abts.

[4] Personnellement je ne pense pas qu’un parti flamand, quel qu’il soit, dépasse un jour les 35% du fait de la présence de six partis bien établis.

Publicités

A propos vlaborderie

Politologue français vivant en Belgique
Cet article a été publié dans Non classé. Ajoutez ce permalien à vos favoris.

Un commentaire pour De la fiabilité toute relative des sondages et autres baromètres

  1. Ping : Les sondages sont-ils plus fiables que les élections ? | Politique belge (et autres…)

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s