/misc
Navigation

2 élections très différentes, même performance pour les simulations

Coup d'oeil sur cet article

Les élections au Québec et en Ontario ont été fort différentes à tout point de vue. La situation a été remarquablement stable en Ontario tout au long de la campagne (bien que les sondages variaient beaucoup; je parle ici de la moyenne) alors que la campagne Québécoise a été marquée par un constant déclin du PQ et une remontée de dernière minute de la CAQ. Au Québec, le gouvernement minoritaire sortant n'a pas réussi à remporter une majorité et a même perdu l'élection alors qu'en Ontario, les Libéraux ont réussi à décrocher leur majorité. Aussi, alors que les sondages au Québec ont fait une bonne job (sur-estimant légèrement le PQ), ils étaient pas mal dans le champ en Ontario (surtout en utilisant les "likely voters" des diverses maisons de sondages). Tout ça pour dire qu'il y a bien peu de chose en commun entre ces deux élections, si ce n'est une victoire Libérale à la fin.

Or, les probabilités du modèle (obtenues via simulations) ont en fait connu des performances très similaires. Je ne parle pas ici du nombre de comtés prédits correctement (à ce petit jeu là, les performances en me basant sur les sondages étaient fort similaires alors qu'avec les vraies pourcentages, le modèle a bien mieux fait en Ontario. L'absence de CAQ, kryptonite de mon modèle au Québec, aide bien sûr considérablement). Je parle ici de représenter l'incertitude qui existait. Je parle ici du fait que si le modèle prédit qu'un candidat remportera son comté 75% du temps, alors 25% des candidats dans cette situation se doivent de perdre sur le long terme (long terme étant bien sûr bien davantage que sur une simple élection).

Il existe plusieurs mesures de modèles probabilistes, mais une mesure connue et simple est le "Brier score". J'en avais déjà parlé lors mon port-mortem au Québec. L'idée du Brier score est de punir les prédictions de deux manières: si le modèle a fait le bon choix dans un comté mais n'avait pas les chances de gagner à 100%, alors il y a une petite erreur. Dans mon exemple, si un candidat était projeté gagnant avec 75% de chances et qu'il a finalement remporté son comté, le Brier score sera de 1-0.75=0.25 au carré. À l'inverse, imaginons que le candidat ait finalement perdu, alors dans ce cas, le score sera de 0.75 au carré. Ainsi, la seule manière d'avoir un Brier parfait (donc zéro) est d'avoir tous les gagnants à 100% et tous les perdants à 0%. Il est bien sûr difficile, voire impossible, d'être aussi parfait au Canada. Si vous projetez l'élection présidentielle au États-Unis, cela est déjà bien plus possible (bien des États ne sont absolument pas en jeu). La beauté du Brier score est de punir les prédictions qui étaient justes mais avec un faible niveau de confiance (ainsi, vous ne pouvez pas tenter de juste parler de courses serrées partout dans l'espoir de n'avoir jamais tort).

Quoiqu'il en soit, lors de l'élection Québécoise, le Brier score de mes prédictions avait été de 8.2%. Un résultat bien loin des différents modèles aux États-Unis, mais encore une fois, prédire le résultat de 125 comtés en se basant sur les % provinciaux est bien plus complexe et incertain que de prédire les résultats dans 50 états avec de nombreux sondages dans chacun d'entre eux.

Et en Ontario? Aussi incroyable que cela puisse paraître, le Brier score a été de... 8.1%! J'ai refait les calculs deux fois pour être sûr.

Il faut bien se rendre compte que ces deux Brier scores n'ont pas la même valeur pour les mêmes raisons. Au Québec, les erreurs sont essentiellement provenues de la performance incroyable de la CAQ dans le 450. En Ontario, les erreurs sont essentiellement dues aux sondages.

Aussi, le modèle continue d'avoir eu raison dans les comtés projetés à 100% (ou alternativement, 0%). En d'autres mots, après 4 élections dans 3 provinces (dont 2-3 où les sondages n'ont de loin pas prédit les résultats correctement), aucun des candidats projetés avec 0% de chances de gagner n'a finalement remporté son comté. Et tous les candidats projetés à 100% ont gagné. C'est passé bien proche en Ontario dans le comté de Durham. Le candidat Libéral n'y avait que 0.4% de chances de gagner et il a finalement remporté ce siège. Le modèle avait les Conservateurs en avance par 16 points! Il faut dire que le candidat Cosnervateur avait remporté ce comté par 20 points en 2011. Ainsi, entre les erreurs des sondages et des effets locaux, ce comté a bien failli couler mon modèle. Pour rappel, au Québec, la plus grande surprise était bien moins impressionnante avec le candidat CAQ dans Masson qui avait environ 5% de chances de gagner. Rappelez-vous qu'il est normal que certains candidats projetés gagnants avec de si faibles chances gagnent de temps à autres. Sinon ils devraient être projetés à 0%.

Au final, les probabilités continuent de prouver qu'elles fonctionnent. Cependant, il semble qu'il me faudra ajouter un petit peu d'incertitude pour les candidats projetés entre 40 et 60% de chances. Après 4 élections, j'ai que les candidats qui étaient projetés avec moins de 50% de chances ne font pas forcément pires que ceux projetés juste au-dessus de 50%. Une petite correction sera apportée d'ici l'élection fédérale

1 commentaire(s)

Lucien T dit :
28 juillet 2014 à 21 h 30 min

(sur-estimant légèrement le PQ). Je suppose que vous pensez à Léger en écrivant ceci!