Momentaufnahmen seien keine Prognosen, wird regelmässig beschworen. Und trotzdem wird ihr Schätzerfolg am effektiven Ergebnis bemessen. Wie geht das? 

Momentaufnahmen sind Erhebungen eines bestimmten Befragungsgegenstandes (zum Beispiel die Wahlabsicht oder die Stimmabsicht) zu einem ganz bestimmten Zeitpunkt. Sie enthalten keine prognostischen Elemente, sagen demnach nicht, wie die Wahl oder die Abstimmung ausgehen wird, sondern sind gewissermassen eine Pegelstandsmeldung. Das unterscheidet die Momentaufnahme von der Prognose: Letztere bezieht sich auf den Wahl- oder Abstimmungstag und macht eine klare Aussage zum Ausgang der Wahlen oder der Abstimmung. Dazu ein Beispiel: Die amerikanische Fachzeitschrift PS organisiert im Vorfeld der Präsidentschaftswahlen regelmässig einen Wettbewerb der Prognosemodelle.[2] Renommierte Professoren und Professorinnen machen dort basierend auf theoretischen Modellen klare Aussagen zur Wahl. Zum Beispiel Helmut Norpoth: Sein Primary Model prognostizierte bereits im März 2016 einen Sieg von Donald Trump.[3] Momentaufnahmen machen keine solche (teils tollkühnen) Aussagen; sie sind «mutloser» und sagen bloss, wer derzeit vorne liegt, nicht aber, wer die Wahl gewinnen wird. Auch hierzu ein Beispiel: In Deutschland wird die sogenannte Sonntagsfrage («Wen würden Sie wählen, wenn am Sonntag Bundestagswahlen sind?») beinahe wöchentlich gestellt. Nun würde niemand auf die Idee kommen, die Ergebnisse einer solchen Erhebung zwei Jahre vor den Wahlen für eine Prognose zu halten. Jedem dürfte sofort einleuchten, dass die zu einem derart frühen Zeitpunkt geäusserten Wahlabsichten bloss eine Momentaufnahme sind und sich bis zum Wahltag ändern können. In diesem Sinne hat das Konzept der Momentaufnahme durchaus seine Berechtigung: Meinungen, Haltungen und auch Wahlabsichten können sich ändern. Gewiss, bestimmte grundlegende Haltungen, die den Kern eines Überzeugungssystems ausmachen, ändern sich kaum. So wird aus einem Abtreibungsgegner über Nacht (oder selbst über Jahre hinweg) wohl kaum ein Abtreibungsbefürworter. Aber Einstellungen zu Sachfragen, die an der Peripherie eines politischen Überzeugungssystems angesiedelt sind und eher instrumentellen Charakter haben, sind weniger stabil. Und eine erhebliche Zahl von Abstimmungsfragen tangieren solche peripheren Einstellungen. Hier macht die Momentaufnahme absolut Sinn.

WELCHE MOMENTAUFNAHME IST GENAUER?

Aber wie lässt sich die Genauigkeit einer Momentaufnahme bemessen? Zuerst zur Prognose. Dort verhalten sich die Dinge einfach: Der Prognoseerfolg kann – nachträglich – am effektiven Ergebnis abgelesen werden. Je näher eine Prognose am Wahlergebnis, desto genauer war sie. Können wir dasselbe nicht auch bei einer Momentaufnahme tun? Nein. Denn Momentaufnahmen beziehen sich eben nicht auf den Wahltag, sondern lediglich auf den jeweiligen Erhebungszeitpunkt (zum Beispiel: zwei Wochen vor der Wahl). Und die Umfrageforscher werden auch nicht müde, genau diese Formel mantrahaft zu wiederholen: Die Resultate sind Momentaufnahmen, in zwei Wochen kann es (ganz) anders aussehen. Wenn sich aber Meinungen zwischen der Momentaufnahme und dem Wahltag ändern können, dann ist es aus logischen Gründen auch nicht mehr möglich, den Schätzfehler am effektiven Ergebnis abzulesen. Die Voraussetzung für einen Reliabilitätstest nach der Test-Retest-Methode ist die Stabilität des Einstellungsgegenstandes – notabene eine Prüfungsfrage in der Methodenvorlesung für Erstsemestrige.

Zur Veranschaulichung ein fiktives Beispiel: Angenommen, das Umfrageinstitut 1 weist in seiner Momentaufnahme für die Partei x einen Wähleranteil von 15.5 Prozent aus, während das Umfrageinstitut 2 zum gleichen Zeitpunkt 16.0 Prozent ausweist. Zwei Wochen später findet die Wahl statt, wobei die Partei x 16.5 Prozent Wähleranteil erzielt. Können wir demnach sagen, dass Umfrageinstitut 2 um einen halben Prozentpunkt genauer lag? Nein, natürlich nicht. Denn wir wissen anhand des effektiven Wahlergebnisses ja nicht, wie die Wahlabsichten zwei Wochen zuvor verteilt waren. Vielleicht lag Umfrageinstitut 1 zum damaligen Zeitpunkt ja näher am wahren Wert in der Grundgesamtheit als Umfrageinstitut 2 und die Differenz kam nur zustande, weil die besagte Partei x in den letzten zwei Wochen um einen Prozentpunkt zulegen konnte. Gewiss, hätte Umfrageinstitut 1 zum damaligen Zeitpunkt einen Wähleranteil von, sagen wir mal, lediglich 10 Prozent ausgewiesen, so dürften wir mit grosser Wahrscheinlichkeit davon ausgehen, dass Umfrageinstitut 2 eine genauere Schätzung auswies als Umfrageinstitut 1. Aber nochmals: Selbst im letzteren Fall hätten wir keine absolute, 100-prozentige Gewissheit, dass dem auch so war. Trotzdem werden solche Vergleiche zwischen Momentaufnahme und effektivem Ergebnis regelmässig gemacht und nicht nur von den Medien, sondern (aber oft nur im Erfolgsfall) von den Umfrageforschern selbst.

Würden Momentaufnahme und der Wahl- oder Abstimmungstag bloss einen oder zwei Tage auseinanderliegen wie etwa in den USA, wo bis zum letzten Tag vor den Wahlen noch Vorbefragungen durchgeführt werden, so könnte man den Schätzerfolg der Momentaufnahme im Prinzip am Wahlergebnis bemessen. Dass innerhalb von 24 Stunden noch ein drastischer Meinungswandel stattfindet, kann ausgeschlossen werden. In der Schweiz liegen jedoch zwischen Vorumfragen und Wahlen bzw. Abstimmungen mindestens zehn Tage. Gibt es demnach keine Möglichkeit, den Schätzfehler einer Momentaufnahme zu bemessen? Wie wäre es beispielsweise mit dem Trend? Kann man nicht anhand des Trends – Voraussetzung ist, dass mehrere Momentaufnahmen mit gleicher Methode durchgeführt werden – die Schätzgenauigkeit bemessen? In der Tat ist dies die (etwas) bessere Vorgehensweise. Aber auch Trends lassen keine exakten Aussagen über den Schätzerfolg einer Momentaufnahme zu. Das liegt im Wesentlichen an zwei Gründen:

1. Jede Messung ist mit einem Messfehler behaftet. Selbst wenn es uns gelingen würde, aus einer vollständigen Liste aller Schweizer Stimmberechtigten eine Zufallsauswahl zu ziehen und sich völlig überraschend auch alle im Stichprobenrahmen vorgesehenen Zielpersonen an der Umfrage beteiligen würden (was in der Realität natürlich nie der Fall ist), so hätten wir gleichwohl mit einem Zufallsfehler zu rechnen. Denn Stichprobenwerte variieren zufällig.[4] Kurz: Wir wissen auch bei einer perfekten Zufallsauswahl nicht, ob unser Stichprobenwert wirklich dem wahren Wert in der Grundgesamtheit entspricht. Wenn wir das aber nicht wissen, können wir logischerweise auch keinen exakten Trend ermitteln. Im Extremfall kann es gar sein, dass gar kein Trend vorliegt, obwohl die Umfrageergebnisse beider Wellen auseinanderliegen [5].
2. Wer Trendaussagen macht, geht oftmals (implizit) von einem linearen Trend aus. Beispiel: Vorlage x hat zwischen dem Messzeitpunkt 1 und dem Messzeitpunkt 2 zehn Prozentpunkte an Zustimmung verloren. Also, so die Trendaussage, dürfte sie zwischen Messzeitpunkt 2 und dem Abstimmungssonntag nochmals zehn Prozentpunkte verlieren. Aber wer sagt uns, dass die Meinungsbildung stets linear verläuft?[6] Wieso nicht log-linear, quadratisch, nicht-monoton oder wie auch immer? Und könnte es nicht auch sein, dass eine Vorlage zunächst an Zustimmung verliert, in den letzten zwei Wochen aber – viele Stimmbürger haben ihren Entscheid schon brieflich gefällt – auf ähnlichem Niveau verharrt? Woher haben wir die Gewissheit, dass Meinungsbildung stets monoton steigend oder fallend verläuft? Man schaue sich dazu etwa den Brexit-Poll-Tracker an [7]: Die Meinungsbildung verlief hier eher in der Form eines Random Walk.[8] Auf jeden Fall ist kein linearer Trend erkennbar. Natürlich gibt es Phänomene der Meinungsbildung, die bekannt sind: Etwa, dass Spätentschlossene oder solche, die unsicher sind, im Zweifelsfall eher zum Status Quo tendieren (also Nein einlegen). Aber eine Theorie, die eine lineare Entwicklung der Meinungsbildung begründen könnte, ist mir unbekannt.

Kurz, der Schätzerfolg einer Momentaufnahme ist streng genommen nicht überprüfbar. Das wäre nur dann möglich, wenn am gleichen Tag die Wahl oder die Abstimmung stattfinden würde oder sich zwischen Momentaufnahme und Wahltag rein gar nichts an den Wahl- oder Stimmabsichten ändern würde. Wer den Erhebungserfolg trotzdem ausweisen möchte, für den bietet sich folgende, ganz einfache Lösung an: Wer die Geheimnisse der Meinungsbildung (seien sie nun linear oder nicht) kennt, für den sollte es doch mühelos möglich sein, im Anschluss an die Momentaufnahme eine Prognose zu stellen. Und der Schätzerfolg einer Prognose wiederum kann auf ganz einfache Art und Weise überprüft werden: Man vergleicht die Prognose mit dem Ergebnis. So einfach ist das – aber eben auch riskant, denn man kann bei einer Prognose (im Gegensatz zu einer Momentaufnahme) auch daneben liegen.

Thomas Milic

 Follow @politan_ch