Seit Anfang diesen Jahres werden hier auf politanalyst.ch, gut vier Wochen vor den Abstimmungen Prognosen publiziert. In einem anderen Blogbeitrag wurde die Methodik bereits erläutert. Kurz zusammengefasst: es handelt sich um ein sehr simples Modell, das auf der Schlussabstimmung im Nationalrat und der ersten gfs.bern Umfrage beruht. Welchen Wert hat aber eine solche grobe Prognose, wenn man doch die Umfragen hat? Dem gehe ich in diesem Artikel nach.
Die Analyse
Die erste Umfrage von gfs.bern, im Auftrag der SRG, wird 4 Wochen vor der Abstimmung, also bereits relativ früh, publiziert. Die politanalyst.ch Prognose erweitert die erste Umfrage Welle und kann daher nicht vorher publiziert werden, sondern erscheint praktisch zeitgleich. Die Prognose versucht die Umfrage um weitere statistisch relevante Faktoren zu erweitern und somit das schlussendliche Ergebnis bereits vier Wochen vorher möglichst genau zu schätzen. Doch weshalb der Aufwand? Dazu lohnt es sich einen genaueren Blick auf die Genauigkeit der Umfragen zu werfen. Dazu habe ich die gfs.bern Umfragen von 2008 bis 2022 untersucht. Tatsächlich stellt sich heraus, dass die erste Umfragewelle nicht sonderlich genau ist. Im Durchschnitt der letzten 14 Jahren beträgt die Abweichung von gfs.bern zum Abstimmungsergebnis 11.8 Prozentpunkte. Nimmt man den etwas robusteren Median ist man tiefer bei 8.48 Punkten. Eine so grosse Diskrepanz erlaubt keine gute Einschätzung der kommenden Abstimmungsergebnisse. Die Ungenauigkeit ist unter Anderem natürlich auch darauf zurückzuführen, dass es einen relevanten Anteil von Unentschlossenen gibt, die das Ergebnis verzerren.
Leider liegen bislang nur tatsächliche Prognosen seit Februar 2022 vor. Diese reichen nicht aus um bestimmen zu können ob die Prognose eine gute Schätzung liefert. Daher habe ich mit der aktuellen Datengrundlage ein Modell für alle Abstimmungen im gleichen Zeitraum gerechnet. Das ist zwar methodologisch nicht perfekt, zeigt allerdings ein klares Bild. Die durchschnittliche Abweichung liegt mit 6.5 Prozentpunkten beinahe bei der Hälfte der Umfragen. Schaut man sich die tatsächlichen Prognosen für das Jahr 2022 an, kommt man ebenso auf einen Durchschnitt von gut 6.5 Punkte. Das selbe Bild zeigt sich bei Betrachtung des Medians, dann kommen die Prognosen auf eine Abweichung von 4.36 Punkten. Damit liegt die Prognose bereits 4 Wochen vor der Abstimmung auf dem Ungenauigkeitsniveau der Umfragen der 2. Welle.
Ungenauigkeit ein Problem?
Selbstverständlich ist jede Abweichung für Prognostiker und Umfrageforscher unschön. Allerdings gilt es auch zu relativieren. Von Umfragen kann man insbesondere den Trend und die Meinungsbildung abbilden. In den meisten Fällen ist die Abweichung auch nicht problematisch, weil das Ergebnis noch stand hält. Tatsächlich problematisch wird es sobald die Umfrage oder Prognose auf ein falsches Ergebnis hindeuten, wenn also beispielsweise ein Ja prognostiziert wird und es dreht ins Nein.
Fazit und Ausblick
Umfragen der ersten Welle sind stark ungenau. Möchte man aus ihnen möglichst genaue Prognosen ableiten, die an die Genauigkeit der Umfragen kurz vor der Abstimmung heranreichen, so gilt es den Ansatz von politanalyst.ch zu verfolgen. Man kombiniert die Umfragen mit weiteren Faktoren und erhöht somit die Genauigkeit. Zwar hat man noch immer eine gewisse Ungenauigkeit, dafür erhält man sehr früh eine gute Approximation. Wendet man den Ansatz auf die 2. Welle an, kann man diese nochmals zusätzlich aufwerten und genauer werden, dafür ist man schon sehr nahe am Abstimmungstermin.
Ein sehr interessantes und zuversichtlich stimmendes Modell, auf Basis von Machine Learning, hat Sébastien Perseguers entwickelt. Dieser lag mit seinen Prognosen am 25. Spetember 2022, drei Wochen zuvor gerade einmal 3 Prozentpunkte daneben!