Der Methodenkampf


Die Meinungsumfragen vor eidgenössischen Abstimmungen haben mittlerweile regelrecht Tradition. Es werden in der Schweiz zwei grosse Umfragen durchgeführt. Die SRG Umfragen von gfs.bern, sowie die 20minuten/Tamedia Umfragen von Leewas. Die beiden Umfragen unterscheiden sich allerdings nicht bloss bezüglich Auftraggeber und Institut welches diese durchführt, sondern auch in der Methodik. Wir erleben quasi einen «Methodenkampf». Diesen möchte ich nun etwas genauer betrachten.

Seit dies technisch möglich ist, hat sich die Telefonumfrage als Gold Standard der Abstimmungsforschung herausgebildet. Dabei werden Haushalte angerufen und nach ihrer Meinung zu den Abstimmungsvorlagen befragt. Insbesondere weil Forschende keinen Zugriff auf die staatlichen Register haben, hat man sich die grosse Vorbereitung von Telefonanschlüssen zunutze gemacht um  möglichst die gesamte Bevölkerung erreichen zu können. Aufgrund der statistischen Auswertung dieser Umfragen können dann Aussagen über die den Meinungsbildungsprozess gemacht werden.
Damit solche Aussagen getroffen werden können, muss die Umfrage (oder auch Stichprobe) repräsentativ sein. Dabei spielt die Grösse der Stichprobe eher eine untergeordnete Rolle. Viel wichtiger ist, dass bei der Auswahl der befragten Personen eine Zufallsauswahl stattfindet. Das heisst: Jede Person in der Schweiz hat die gleiche Chance befragt zu werden. Ist diese Annahme gegeben handelt es sich um eine repräsentative Stichprobe. Aufgrund der Entwicklungen der letzten Jahrzehnte stellt sich aber vermehrt die Frage ob diese  Annahmen in der Schweiz überhaupt noch erfüllt werden können.

Immer weniger Haushalte haben überhaupt noch einen Festnetzanschluss, was es deutlich schwieriger macht potenziell die gesamte Bevölkerung erreichen zu können. Diese Problematik konnte mit verschiedenen Tricks abgedämpft werden; So wird auf alternative Register von verschiedenen Agenturen zurückgegriffen. Dadurch hat man auch Zugriff auf Mobiltelefonnummern. Ausserdem können zusätzlich durch computergenerierte Nummern (RDD) Menschen erreicht werden, die nirgends registriert sind.
Die wohl gravierendste Herausforderungen der traditionellen Telefonumfragen sind sogenannte non-responders. Also Menschen welche die Umfrage verweigern. Während man gegen Ende der 90er Jahren noch gut 50% der angerufenen Personen auch befragen konnte, liegt die sogenannte Ausschöpfungsquote mittlerweile so tief wie unter 20%. An sich würde diese Entwicklung die Annahme der Zufallsstichprobe nicht relevant verletzen, wenn die Verweigerung über die gesamte Bevölkerung gleichmässig verteilt wäre. Allerdings waren tendenziell links eingestellte Personen in den vergangenen Umfragen überrepräsentiert, während das Gegenteil bei rechts sympathisierenden der Fall ist. Ähnlich übermässig wurden gut gebildete Personen erreicht.

Um Umfragen unabhängig der möglichen Verzerrungen von Telefonumfragen durchführen zu können, wurde die MRP Methode entwickelt. Dabei handelt es sich um recht komplizierte Modellrechnungen, basierend auf zuvor festgelegter Idealtypen. Sehr grob vereinfacht gesagt sind keine repräsentativen Umfragen mehr notwendig, weil man die Verzerrungen durch Gewichtungen bereinigt werden können. Die Antworten von unterrepräsentierten Gruppen erhalten also ein mathematisch höheres Gewicht, wodurch man die ungleiche Verteilung ausgleicht. So war es möglich aufgrund von Umfragedaten von Xbox Userinnen und Usern (extreme Verzerrung bezüglich Alter und Geschlecht) erstaunlich präzise Vorhersagen zu den US Präsidentschaftswahlen 2012 zu errechnen.
Aber auch diese Methode kann anfällig für Fehler sein. Gerade bei der Festlegung der Idealtypen gibt es ein hohes Fehlerpotenzial, sowie bei der Durchführung der mehrstufigen Analyse zur Vorabklärung. Ausserdem ist es in der Theorie möglich, dass Gruppierungen, wie beispielsweise Parteien, die Umfragen manipulieren könnten.

Es stellt sich also die Frage welche Methode die genauere oder bessere ist. Eine befriedigende Antwort darauf gibt es leider nicht. Ausserdem ist unklar nach welchen Kriterien gemessen werden soll. Für die Schweiz lässt sich folgendes festhalten:
Die SRG Umfragen werden anhand von Daten aus Telefonbefragungen erstellt, die Tamedia/20minuten Umfragen allerdings mit der MRP Methode. Wenn wir betrachten welche der Umfragen näher am tatsächlichen Ergebnis war, steht es etwa 50/50. Ein ähnliches Bild gibt sich auch wenn die Trends mit dem tatsächlichen Ergebnis verglichen werden.
Einen klaren Sieger ist also noch nicht absehbar. Es bleibt spannend ob eine Methode es schafft sich einen Vorsprung zu verschaffen.

Kommentar verfassen