Les marges d’erreur traditionnellement utilisées pour calculer la précision des enquêtes par quotas sous-estiment la précision des sondages électoraux. De plus, par définition, elles ne tiennent pas compte des biais potentiels. Il est donc inutile, voire nuisible, de publier ce type de calculs.

 

Marge d’erreur dans un sondage par quotas

Lorsqu’un sondage est réalisé de manière aléatoire, la marge d’erreur du sondage résulte d’un calcul bien connu des statisticiens. Celui-ci donne l’intervalle de confiance autour d’une estimation en fonction de la taille de l’échantillon, du résultat du sondage et du niveau de confiance choisi. Le tableau ci-dessous donne la marge d’erreur pour un niveau de confiance de 95%, qui est le seuil usuel :

 

	Pourcentage obtenu dans le sondage
Nombre de personnes interrogées	20% ou 80%	30% ou 70%	40% ou 60%	50,0%
500	3,5%	4,0%	4,3%	4,4%
800	2,8%	3,2%	3,4%	3,5%
1000	2,5%	2,8%	3,0%	3,1%
1500	2,0%	2,3%	2,5%	2,5%
2000	1,8%	2,0%	2,1%	2,2%

 

Ainsi, un sondage auprès de 1000 personnes qui donnait un pourcentage de voix de 52% à François Hollande à la veille de la présidentielle de 2012 correspondrait, en théorie, à une fourchette 52%-3,1%= 48,9%/52+3,1%=55,1%. Donc, 50% est dans l’intervalle de confiance et le sondage n’apporterait pas vraiment d’information.

Un premier hic est qu’un sondage aléatoire, comme le dahu ou le monstre du loch Ness, est un animal qui n’a jamais existé. Mêmes les instituts de statistique nationaux ne font en fait pas réellement de sondages aléatoires.

C’est un petit hic, en fait : on peut montrer que l’intervalle de confiance d’un sondage par quotas est bien approximé par les calculs ci-dessus (voir l’article de Jean-Claude Deville cité en référence).

L’usage d’utiliser les marges d’erreur du sondage aléatoire pour un sondage par quota est donc justifié. Mais les sondages électoraux présentent des propriétés plus complexes, qui font que leur précision n’est pas correctement évaluée par ces marges d’erreur.

 

Ce calcul de marge d’erreur n’est pas appropriée pour les sondages électoraux

Regardons les résultats des sondages publiés entre le premier et le second tour de l’élection présidentielle de 2012. Il y en a 21 (en fait un peu plus, car l’IFOP publiait des sondages rolling sur trois jours. Afin d’éviter une digression inutile sur des échantillons ayant une intersection, on ne montre ci-dessous qu’un extrait des sondages de cet institut). Le score indiqué est celui de François Hollande, futur vainqueur :

Avant d’arriver à la discussion principale, notons deux points, sur lesquels on reviendra :

–       Tous les sondages indiquaient une victoire de François Hollande, et plus nette que le résultat final (51,6%).

–       Il y a une claire tendance à la baisse. La moyenne du score de l’heureux élu sur les 21 sondages est de 53,7%. La moyenne calculée sur le dernier sondage publié par chaque institut est de 52,8%.

Venons-en maintenant à la marge d’erreur et zoomons sur les 8 sondages publiés entre les 2 et 4 mai. Ce sont les derniers sondages publiés par chaque institut :

Ifop	Opinion Way	BVA	Ipsos	CSA	Harris Interactive	LH2	TNS
52%	52,5%	52,5%	52,5%	53%	53%	53%	53,5%

 

L’écart maximal entre ces sondages est de 1,5% (Ifop vs TNS). C’est là qu’est le nœud du problème : si les sondages politiques obéissaient au calcul de la marge d’erreur ci-dessus, l’écart entre les sondages des différents instituts devrait être plus important.

Nous avons réalisé 1000 simulations de jeux de 8 sondages, en se basant sur les tailles d’échantillon utilisées par chaque institut, avec une probabilité de 52,8% (la moyenne des 8 derniers sondages). Sur ces 1000 simulations, 6 seulement présentaient un écart de 1,5% ou moins entre valeur minimale et valeur maximale. Autrement dit, la configuration des sondages, telle qu’elle a été observée à la veille du second tour de l’élection présidentielle de 2012, est un événement qui avait une probabilité 0,6% de se produire.

Constat similaire pour les sondages de la veille du premier tour en 2012 : la configuration des résultats pour Nicolas Sarkozy et François Hollande avait une probabilité inférieure à 7% de se produire.

On peut réaliser le même exercice pour le score Nicolas Sarkozy à la veille du second tour de l’élection de 2007. L’écart maximal observé entre les 6 instituts est de 2% : cette configuration a une probabilité de 5%.

Pour un statisticien, quand un événement de probabilité aussi faible se produit, c’est que les hypothèses derrière le calcul de cette probabilité sont fausses (c’est d’ailleurs selon ce mécanisme que sont construites les marges d’erreur d’un sondage aléatoire).

Les sondages des différents instituts, qui constituent des estimations différentes de la même quantité, prennent des valeurs plus resserrées que ne le voudrait la théorie des marges d’erreur. Ils sont donc plus précis (voir l’article sur le biais et la précision) et leur marge d’erreur est sur-estimée par la formule standard.

Une conjecture sur la précision des sondages électoraux

Ecartons d’emblée l’explication complotiste qui voudrait que les instituts de sondage se concertent pour publier des résultats similaires.

Une explication beaucoup plus plausible du surcroît de précision des sondages électoraux pourrait être la suivante : les chiffres publiés sont calculés à partir des chiffres bruts collectés, en faisant un redressement. Le redressement est basé sur la comparaison entre ce que déclarent avoir voté les répondants à l’élection précédente, et les résultats réels de cette élection. Avant redressement, par exemple, les scores du Front National sont sévèrement sous-estimés.

C’est ce redressement qui, vraisemblablement, stabilise les résultats. La théorie des sondages nous indique qu’un redressement a pour objectif de renforcer la précision des estimateurs calculés. On peut penser qu’un phénomène similaire est à l’œuvre.

Phénomène complexe, car pas purement quantitatif. Le redressement est basé sur les réponses des interviewés au sujet de leur vote précédent. Mais, au-delà de ces données, les sondeurs politiques incorporent dans leur choix du redressement leur connaissance intime de la sociologie électorale et l’ensemble des informations dont ils disposent au moment du sondage.

C’est ce mélange d’information supplémentaire, l’une quantifiable – les données sur les votes précédents -, l’autre plus difficilement, qui rend les sondages plus précis que ne le voudrait la théorie des marges d’erreur.

Au passage, notons qu’il n’y a rien d’illicite, ni d’unique, à ce mélange d’information quantifiée et non quantifiée: Nate Silver écrit des pages très convaincantes sur la manière dont des informations qualitatives peuvent améliorer un modèle quantitatif.

Plus précis, mais parfois biaisés

L’idée que les sondages électoraux sont plus précis que communément admis ne correspond probablement pas à la perception du grand public…. Ceci est dû à la confusion entre deux notions très différentes : le biais et la précision.

Reprenons les résultats du premier tour de l’élection présidentielle de 2012.

 

Candidat	Résultats du premier tour	Moyenne des derniers sondages	Marge d’erreur
Nathalie Arthaud	0,6%	0,4%	+/-0,4%
Philippe Poutou	1,2%	1,4%	+/-0,7%
Jean-Luc Mélenchon	11,1%	13,3%	+/-2,1%
François Hollande	28,6%	28%	+/-2,8%
Eva Joly	2,3%	2,4%	+/-1,0%
François Bayrou	9,1%	10,1%	+/-1,9%
Nicolas Sarkozy	27,2%	26,5%	+/-2,7%
Nicolas Dupont-Aignan	1,8%	1,7%	+/-0,8%
Marine Le Pen	17,9%	16,1%	+/-2,3%
Jacques Cheminade	0,3%	0,1%	+/-0,2%

La marge d’erreur est calculée sous l’hypothèse d’un sondage aléatoire de 1000 répondants, sans correction pour les petits pourcentages (le score de Nathalie Arthaud ou de Jacques Cheminade ne peut pas être négatif….). Rappelons que nous pensons qu’elle surestime la vraie marge d’erreur d’un sondage.

Le score de Jean-Luc Mélenchon est en-dehors de la marge d’erreur, celui ce Marine Le Pen aussi, selon toute vraisemblance. 2 candidats sur 10 en dehors des marges, on est loin du niveau de confiance 95%. Il y a, très vraisemblablement, un biais sur le score mesuré par sondage de ces deux candidats.

Notons que ce n’est peut-être pas le seul biais. La moyenne des derniers sondages en veille du second tour donnait 52,8% à François Hollande, assez nettement au-dessus des 51,6% finalement obtenus. Certes, la tendance était baissière : les sondages sont un instantané à l’instant t et des électeurs ont pu changer d’avis. Mais il n’est pas impossible qu’il y ait eu une légère surestimation – un biais positif. De ce point de vue, il est intéressant de constater que les candidats de gauche étaient globalement surestimés au premier tour, alors que ceux de droite étaient sous-estimés.

Les raisons plausibles de ce biais sont discutées dans l’article sur le sondage aléatoire : la non réponse – le fait que certains refusent de répondre aux enquêtes – est la raison la plus vraisemblable.

 

Quelle marge d’erreur pour un sondage électoral ?

Comme tout sondage, un sondage électoral présente deux risques d’erreur :

–       Un risque de biais, dû au fait que certaines personnes sollicitées refusent de répondre,

–       Un risque d’imprécision, dû au fait qu’on interroge un échantillon et non pas toute la population.

Par définition, une marge d’erreur ne permet pas de se couvrir contre le premier risque. Si le biais était connu, il n’y aurait pas de biais.

Et concernant le second risque, il est très vraisemblable que les marges d’erreur classiques sous-estiment la précision réelle des sondages.

Est-il vraiment utile de publier des chiffres dont on sait qu’ils sont faux ? Ceci ne peut que renforcer la méfiance ces citoyens vis-à-vis de données pourtant utiles et qui participent au débat démocratique.

Que faire alors, si on veut mettre à disposition du grand public des informations sur les marges d’erreur ?

La réponse se trouve probablement dans l’exploitation des données historiques disponible sur les sondages et les résultats des élections. Il y a suffisamment d’instituts différents, et d’élections, pour constituer une base de données empirique sur la précision des sondages. La question du biais est plus délicate, car probablement très dépendante de la situation politique, de la personnalité des candidats et de leurs positions politiques. C’est en tout cas un problème qui pourrait se modéliser.

 

C’est à vous

Plusieurs autres explications pourraient être avancées pour expliquer cette variabilité plus faible qu’attendue entre les résultats des différents instituts. Voici une liste d’explications possibles. Laquelle préférez-vous ?

 

 

Article reliés

Biais

Endogénéité

Sondage aléatoire

 

Références

J.C. Deville (1991). Une théorie des enquêtes par quota/ A theory of quota Survey – Survey Methodology/Techniques d’Enquête Vol 17 – n° 2, pp 163-181.

C. Gouriéroux (1981) : Théorie des sondages – Economica

N. Silver (2012): The signal and the noise; why so many predictions fail, but some don’t – The Penguin Press.