/misc
Navigation

La performance des différents sondeurs pour l'élection Québécoise de 2014

Coup d'oeil sur cet article

Il a déjà été établi que les sondeurs ont, dans l'ensemble, fait une bonne job lors de la dernière campagne Québécoise. La moyenne de ces sondages en particulier a donné des résultats très proches de ceux de l'élection.

Regardons la performance des différents sondeurs afin de voir quelle maison de sondage a été la plus proche. Voici comment cela fonctionne:

- Une méthode traditionnellement utilisée est l'écart absolu moyen. Cette méthode fonctionne ainsi: si le PLQ était sous-estimé de 2 points et le PQ surestimé de 1 points, cela fait un écart total de 3, divisé par 2. La mesure est bonne mais elle ne devrait pas s'appliquer aux petits partis. Selon moi, faire cela fausse la mesure car il est "facile" d'obtenir le Parti Vert à 1% par exemple. Ainsi, en tenant compte de ce parti, un sondeur ajoute une formation facile à mesurer mais cela fait baisser l'erreur moyenne (car on divise par un plus grand nombre). Pour ma part, je calcule l'écart moyen absolu seulement entre les 4 principaux partis. Je ne trouve pas pertinent de savoir si une firme a surestimé ON ou les Verts par 0.5 points (en d'autres mots: il est quasiment impossible de faire de grosses erreurs pour ces partis).

- Un sondeur avec la meilleure méthodologie du monde peut cependant être malchanceux et avoir un échantillon qui donnera des résultats un peu différents. Selon moi, on ne devrait pas forcément s'attendre à ce qu'un sondage ait tous les partis avec les résultats exacts, mais il est important que tous les partis soient dans les intervalles de confiance. Ainsi, je compte le nombre de partis qui sont tombés dans les marges d'erreur de chaque sondage. Et je calcule ces marges d'erreur correctement (ainsi, elles sont bien plus faibles pour QS que le PLQ par exemple). Bien sûr, vous pouvez toujours me rappeler que les sondages internet n'ont pas de marges d'erreur et blablabla. Juste pour être clair, voici comment je détermine cela: prenons le dernier sondage Léger. Le PLQ y était à 38%. Avec la taille d'échantillon (1220) cela veut dire des marges de plus ou moins 2.7 points pour ce parti. Comme le PLQ a finalement obtenu 41.5%, soit 3.5 points de plus, Léger n'avait pas les Libéraux dans la marge d'erreur.

- J'utilise les chiffres non-ajustés tels que fournis et publiés par les différentes maisons de sondage. Claire Durand ou moi-même répartissons les indécis autrement (les sondeurs le font proportionnellement entre tous les partis), mais je mesure ici la performance des sondeurs, je prends donc leurs chiffres. Je compare cependant aussi ma moyenne ajustée.

- Je ne compare que les sondages publiés dans la toute dernière semaine de campagne. Il n'y a ainsi pas de Crop... ce qui reste sidérant pour une élection Québécoise.

Période PLQ PQ CAQ QS Écart moyen 4 principaux partis Nbre de partis dans les marges d'erreur
Ipsos 28 mars- 1 avril 37 28 19 13 4.15 1
Ekos 27 mars - 3 avril 40 26.3 21.1 9.4 1.55 3
Léger 2-3 avril 38 29 23 9 2.15 2
Forum 3 avril 44 24 23 6 1.4 3
Angus-Reid 2-4 avril 39 27 25 7 1.65 3
Moyenne ajustée 40.2 27.4 23.3 7.4 0.92
Élection 41.5 25.4 23.1 7.6
Quelques remarques:

- La meilleure firme a été Forum. L'écart moyen est le plus faible et le dernier sondage de cette firme avait trois des 4 principaux dans les marges d'erreur (seul QS y échappe de peu. À 6%, la marge d'erreur pour ce parti était de 1.3 points selon la taille d'échantillon. Or Forum a manqué QS par 1.6 points, donc hors des marges mais de très peu).

- Aucune firme n'a eu les 4 partis dans les marges d'erreur. Comme je viens de le mentionner, Forum est passé le plus proche. Il reste que même lorsque les sondeurs font une bonne job, il semble difficile de prédire tous les partis correctement.

- Il y a un risque à faire un sondage sur une seule journée comme le fait Forum. Mais d'un autre côté, je me permets de remettre en question la pertinence de faire un sondage sur 8 jours comme l'a fait Ekos. De plus, il est probablement plus judicieux d'attendre le dernier moment pour faire un sondage.

- La pire performance est entre Léger et Ipsos. Léger a certes un meilleur résultat, mais Ipsos a au moins l'excuse d'avoir sondé plus d'une semaine avant le scrutin, donc les tendances de dernières minutes (en particulier pour la CAQ) peuvent excuser en partie la piètre performance. La surestimation de QS chez Ipsos était cependant incroyable, c'est presque le double du résultat de l'élection! Cela arrive (mauvais échantillon) mais quand même. Ces deux firmes sont aussi les seules qui n'avaient pas le PLQ dans les marges d'erreur... Au final, choisir qui d'Ipsos ou de Léger a fait le moins bien est difficile à dire. Ekos a sondé presque au même moment qu'Ipsos et n'a pas été si loin des résultats. Ainsi, disons qu'Ipsos a été la pire firme et Léger la 2e moins bonne.

- Ma moyenne ajustée a fait une bonne job (et battu les sondages individuels, ce qui est normal soit dit en passant). Le PLQ y était certes légèrement sous-estimé alors que le PQ y était surestimé, mais l'erreur moyenne est de loin la plus faible. Pour rappel, mes ajustements sont: ne pas répartir d'indécis aux petits partis et tenir compte du fait que le Parti Vert ne présentait que 44 candidats. Je ne calcule pas les marges d'erreur pour cette moyenne car en théorie, elles seraient très faibles (vu que je fais la moyenne de 5-6 sondages, c'est comme si j'avais un énorme échantillon de genre 5000 observations). Cependant, cela ne serait vrai que dans la mesure où la seule variation entre les sondages serait due à la variation statistique naturelle et pas à des différences méthodologiques par exemple. Or, nous savons que ce n'est pas le cas. À vue d’œil cependant, je dirais que cette moyenne avait 3 des 4 partis dans les marges (tous sauf le PQ).

- Pour Ekos, leur "likely voters model" a encore une fois fait pire que les résultats non ajustés (c'était déjà arrivé en CB). J'encourage toutes les firmes à développer un tel modèle mais force est de constater que celui d'Ekos laisse à désirer. Cependant, cette firme a bien fait de manière générale et mérite probablement la médaille d'argent (surtout que la sous-estimation CAQ par rapport à Angus-Reid peut s'expliquer par la période de collecte des données).

- Je persiste à penser que les sondeurs ne devraient pas répartir les indécis proportionnellement entre tous les partis. La sur-estimation de QS par plusieurs firmes vient probablement de cela.

8 commentaire(s)

Pierre dit :
15 avril 2014 à 7 h 53 min

Bravo Bryan Breguet pour vos textes durant toute la durée et à la fin de la campagne électorale. Vous avez su, grâce à votre talent, nous simplifier la compréhension de vos sondages et vos analyses étaient fort bien intéressantes et étoffées. Excellent travail...et merci. Pierre

Normand Murray dit :
15 avril 2014 à 11 h 57 min

Les libéraux on de quoi êtres fiers de leurs gentils sondeurs ils ont directement contribués à la victioire de ceux ci.

Max dit :
15 avril 2014 à 14 h 55 min

Les résultats les plus étoffés sont ceux de ThreeHundredEight.com. Ils étaient très proches des résultats des élections. Ils sont détaillés et on peut voir le mouvement des électeurs entre les différents partis. Quoiqu'il y a eu un grand écart pour le nombre d'élus pour le PQ. Et pour la CAQ. J'ai apprécié aussi le travail de Durant, Ah les sondages. Cependant, j'approuve votre méthode.

Gp dit :
15 avril 2014 à 17 h 36 min

La maison Léger s'est fourvoyée et pas à peu près dans sa prévision de l'écart entre les Libéraux et le PQ. Elle a prédit un écart de 9 points entre ces deux formations alors que l'élection a donné lieu à un écart de 16,1 points. Elle a sous-estimé les libéraux de 3,5 points et sur-estimé le PQ de 3,6 points. Comment a t-elle pu se tromper ainsi?

Tony dit :
16 avril 2014 à 11 h 00 min

M. Normand je suis désolé mais votre analyse est fausse. En général quand un parti a la majorité dans les sondages plusieurs personnes qui pensaient voter pour ce parti ne vont pas aller voter car ils pensent que leur parti va gagner. Et au contraire ceci fait sortir le vote du parti opposé car ses partissent voient bien qu'il a des risques de perdre. Salutations.

Fritz2 dit :
20 avril 2014 à 22 h 18 min

M. Breguet,

Je joins mes félicitations à celle de Pierre (15 avril) pour votre excellent travail. Chaque jour pendant la campagne électorale j'avais hâte de vous lire.

J'aimerais connaître votre opinion sur l'effet que les sondages peuvent avoir sur le vote (Normand Murray 15 avril, Tony 16 avril).

Pourquoi la maison Léger a-t-elle généralement tendance à surestimer le vote PQ et à sous-estimer le vote PLQ (Gp 15 avril)? On peut imaginer que cette firme est biaisée à cause de ses racines péquistes, mais y aurait-il plutôt des explications méthodologiques?

Merci

Luc Tremblay dit :
24 avril 2014 à 12 h 53 min

Bonjour Bryan et excellent travail. Je vous ai lu avec avidité pendant la campagne.

Le président de Léger est M. Jean-Marc Léger, frère de Nicole Léger, députée péquiste de Pointe-aux-Trembles, fils & fille de M. Marcel Léger un député et ministre de la première heure du Parti Québecois. Ma vénérable mère (Jacqueline 79 ans) m'a toujours dit d'enlever 2 ou 3 points au PQ et de les ajouter au PLQ pour tous les sondages Léger. Bryan, si on applique la méthode 'Jacqueline' systématiquement sur les résultats du dernier sondage de Léger à chacune des dernières élections provinciales, est-ce qu'on obtient de bon résultats?

Yvan Dutil dit :
2 mai 2014 à 11 h 16 min

Pourquoi vous n'utilisez pas le khi2 comme mesure de précision? C'est la procédure standard, il me semble?