Home » Blog » War der Brexit wirklich eine Überraschung?

Brexit. (Mick Baker)rooster [1]

War der Brexit wirklich eine Überraschung?

Der Ausgang des Brexit-Referendums überraschte viele. Denn Umfragen und vor allem die Wettmärkte deuteten auf einen Entscheid zugunsten eines Verbleibs. Es war aber beileibe nicht das erste Mal, dass das Lager der Euro-Skeptiker in Umfragen unterschätzt wurde. 

Als die ersten Ergebnisse des Brexit-Referendums bekanntgegeben wurden, reagierten die einen mit Entsetzen, die anderen mit überschwänglicher Freude, beide aber gleichermassen mit Erstaunen: Denn erwartet wurde allenthalben eine Mehrheit für den Verbleib in der EU. Selbst Nigel Farage glaubte zunächst nicht an den Erfolg der Seinen.[2] Geschürt wurden diese Erwartungen durch die Vorumfragen. Und wer den sonst so verlässlichen betting markets vertraute, für den war das «Remain» keine Erwartung mehr, sondern eigentlich schon eine Gewissheit: Die Chancen auf ein Remain lagen zuletzt bei 75 Prozent, wobei dies – wie sich im Nachhinein herausstellte – vor allem an den viel höheren Wetteinsätzen derjenigen lag, die auf ein «Remain» wetteten.[3,4]

Weshalb lagen die britischen Vorbefragungen (abermals) daneben? Zunächst ist darauf hinzuweisen, dass die aggregierten Umfragedaten zuletzt von einem sehr knappen Ausgang ausgingen. Der «poll of polls» der Financial Times schloss am Tag vor dem Abstimmungstermin beispielsweise mit einem 48:46 zugunsten des Verbleibs.[5] Dieses Ergebnis ist nun beileibe nicht meilenweit weg vom effektiven Ergebnis. Von einem «Armageddon der Pollsters» kann demnach – anders als bei den letztmaligen britischen Parlamentswahlen – nicht die Rede sein. Allerdings gingen die meisten Umfragen schon von einem (knappen) Erfolg der «Remainists» aus. Hier lohnt sich allerdings ein etwas detaillierterer Blick auf die Methode der Umfrage: Klassische Telefonumfragen sahen die Befürworter des Verbleibs zumeist vorne, zu Beginn sogar klar in Front.[6] Online-Umfragen – an erster Stelle YouGov, der diesbezügliche Branchenführer – gingen währenddessen immer schon von sehr viel knapperen Verhältnissen aus. Allerdings: Die letzte Online-Umfrage von YouGov sah die EU-Befürworter mit 52:48 Prozent ebenfalls knapp vorne.[7]

Daten: https://ig.ft.com/sites/brexit-polling/

Wie ungewöhnlich ist es, dass der Anteil EU-Gegner in Umfragen unterschätzt wird? Gar nicht, denn unsere Schweizer Erfahrungen zeigen, dass dies bei europapolitischen Umfragen nicht nur gelegentlich vorkommt, sondern der Normalfall ist. Diese Schlussfolgerung beruht auf einem Vergleich zwischen dem ungewichteten Ergebnis der Vox-Nachbefragungen zu europapolitischen Abstimmungen (eine Telefonumfrage) und dem jeweiligen effektiven Ergebnis an der Urne. Wer sich dafür interessiert, weshalb wir die Nachbefragungen und nicht die Vorbefragungen verwendet haben, den verweisen wir auf die Methodenbox weiter unten. Zwecks Vergleichbarkeit der Abstimmungen, wurde jeweils der Anteil der «europafreundlichen» Stimmen ausgewiesen, was beispielsweise bei der Ecopop-Initiative dem Nein-Stimmenanteil (und nicht dem Ja-Stimmen-Anteil) entspricht.

Betrachtet man die Abbildung, so ist der Fall klar: Der Anteil EU-Gegner wird auch bei Schweizer Telefonumfragen regelmässig unterschätzt. Die Differenz ist zuweilen gering – derartig gering, dass er noch innerhalb des Zufallsfehlers zu liegen kommt. Meist liegt die Differenz jedoch ausserhalb des Stichprobenfehlers. Diese Erkenntnis ist keineswegs neu. Eine Untersuchung von Patricia Funk kommt zu genau denselben Ergebnissen.[8] Und das scheint auch nicht ein ausschliesslich schweizerisches bzw. britisches Phänomen zu sein. Europaskeptische Parteien oder Kandidaten werden – so ein erster Eindruck – überall tendenziell unterschätzt: Bei den drei Landtagswahlen in Deutschland wurde etwa der AfD-Anteil so gut wie überall unterschätzt, in Österreich der FPÖ-Anteil (Anteil Hofer) bei der Bundespräsidentenwahl und in der Schweiz legt die SVP im Vergleich zu Umfragen auch oftmals zu.[9,10] Es ist schwer vorstellbar, dass all diese Abweichungen zufällig zustande kamen.

Wenn es aber nicht der Zufall ist, welches sind dann die Gründe dafür? Diese Frage ist enorm schwer zu beantworten. Grundsätzlich sind mehrere Gründe für diese Verzerrung denkbar: Abgesehen vom besagten Zufallsfehler könnte es am Auswahlrahmen liegen, also daran, dass die Liste, aus welcher die Befragten gezogen werden, unter Umständen systematische Lücken aufweist (keine Handynummern, Selbstselektion, etc.). Sodann könnte es an der Gewichtung liegen (gewisse Merkmalsgruppen werden zu stark bzw. zu gering gewichtet).[11]

Klassische Telefonumfragen sahen die Befürworter des Verbleibs zumeist vorne, zu Beginn sogar klar in Front

Da die Umfrageinstitute ihre Gewichtungspraxis aber oftmals als «Betriebsgeheimnis» hüten, kann über Gewichtungseffekte letztlich nur spekuliert werden.[12] Weiter ist denkbar, dass die Mobilisierungskraft der EU-Gegner falsch eingeschätzt wird. Denn ein wesentliches Problem aller Vorbefragungen besteht ja darin, zunächst einmal die voraussichtlich Teilnehmenden zu identifizieren. Am Ende interessiert bei Vorbefragungen nämlich nicht, wie die Stimmberechtigten über das abzufragende Sachgeschäft denken, sondern wie die tatsächlich Teilnehmenden darüber denken. Amerikanische Umfrageinstitute haben hierzu sophistizierte Modelle der «likely voters» konzipiert.[13] Diese Modelle bzw. generell die Einschätzung, wer teilnehmen wird, sind möglicherweise falsch bzw. unterschätzen die Teilnahmebereitschaft der EU-Gegner systematisch. Immer wieder wird zudem auf den verzerrenden Effekt der sozialen Erwünschtheit hingewiesen: EU-Skepsis mag – zumindest in bestimmten Kreisen – als «geächtet» erscheinen, weshalb Befragte es in Umfragen allenfalls unterlassen, ihre «wahre», kritische EU-Haltung zu äussern. Zuletzt könnte es auch am sogenannten «Non-Response-Bias» liegen. Hierzu nur kurz: Die Teilnahme an Umfragen ist bekanntermassen freiwillig. Viele verweigern die Teilnahme an Umfragen. Darunter könnten nun überdurchschnittlich viele EU-Gegner (oder «Wutbürger» im Generellen) sein, die nicht bereit sind, ihre Haltungen am Telefon oder online kundzutun. So abwegig ist der Gedanke nicht. Proteststimmende nehmen selten an Wahlen oder Abstimmungen teil – und gleiches gilt möglicherweise auch für Umfragen.

Was auch immer die Gründe sind, EU-Skeptiker bzw. EU-Gegner werden in Umfragen viel eher unterschätzt als überschätzt. Die knappen Umfrageergebnisse hätten demnach ein «böses Omen» für die Befürworter des «Remain» sein sollen. Diese hatten noch darauf gehofft, dass Unentschlossene aufgrund anthropologischer Konstanten (vor allem: die Risikoaversion) am Ende für den Status quo votieren würden. Doch auch das hätte mit Schweizer Daten in Frage gestellt werden können.[14] So überraschend kam der Brexit demnach gar nicht.

Thomas Milic und Thomas Willi

Im Gegensatz zu Grossbritannien werden in der Schweiz aufgrund eines Agreements unter den Umfrageinstituten keine Umfrageresultate in den letzten 10 Tagen vor dem Abstimmungstermin veröffentlicht. Die letzten demoskopischen Resultate sind am Abstimmungstermin demnach mindestens 10 Tage alt. Differenzen zwischen dem letzten Umfrageresultat und dem effektiven Ergebnis können demnach stets auf einen – möglicherweise tatsächlichen, vielleicht aber auch nur vermeintlichen – Meinungswandel abgewälzt werden. Mit anderen Worten: Während etwa bei der letzten YouGov-Umfrage der Schätzfehler berechnet werden kann (weil sie bloss einen Tag vor der Abstimmung durchgeführt wurde, und wir im Prinzip davon ausgehen können, dass sich die Meinungen in der letzten Nacht vor dem schicksalsträchtigen 23. Juni nicht mehr änderten), ist derselbe Wert bei Vorbefragungen, die 10 Tage oder älter sind, ungleich schwieriger zu ermitteln. Ausserdem ist bei Vorbefragungen, britischen wie schweizerischen, selten einmal vollständig klar, ob bzw. wie gewichtet wurde. Im Prinzip kann man fast mit Sicherheit davon ausgehen, dass alle Vorumfrageergebnisse gewichtet sind. Aber, wie gesagt, nach welchem Verfahren und aufgrund welcher Kriterien, ist meist unklar. Deshalb kann auch nicht zweifelsfrei eruiert werden, ob die Unterschätzung der EU-Skeptiker schon in den Rohdaten vorhanden war oder erst durch die Gewichtung erfolgte. Bei Nachbefragungen hingegen kann der Schätzfehler genau beziffert werden und bei den Vox-Nachbefragungen sind zudem auch die Rohdaten erhältlich. Hier gibt es aus logischen Gründen auch keinen «Meinungswandel» mehr, der als Erklärung für die Differenz zwischen Umfrage und effektivem Resultat herhalten kann.

Um diesen Schätzfehler zu ermitteln, wurden alle nicht-materiellen Stimmabgaben in der Befragung («Weiss nicht», «kann mich nicht erinnern», «leer eingelegt») nicht berücksichtigt.

[1] Foto: (Mick Baker)rooster|Flickr

[2] Lesen Sie hier mehr zu Nigel Farage Einschätzung.

[3] Mehr zu den «Remain»-Chancen.

[4] Waren die «odds» wegen höheren Wetteinsätzen beeinträchtigt?

[5] Der «poll of polls» der Financial Times finden Sie hier.

[6] Klassische Telefonumfragen sahen die Befürworter des Verbleibs zumeist vorne.

[7] letzte Online-Umfrage von YouGov

[8] Hier geht es zur Untersuchung von Patricia Funk.

[9]  In Deutschland wurde der AfD-Anteil unterschätzt.

[10] Österreich wurde der FPÖ-Anteil unterschätzt.

[11] Mehr zu den Polls zum Brexit lesen Sie im Blogbeitrag von Andrew Gelman.

[12] Neben der Spekulation ist im Nachhinein noch die Schätzung eines sogenannten «House Effects» möglich. Lesen Sie hier mehr dazu.

[13] Mehr zum Konzept des «likely voters» lesen Sie hier.

[14] Mehr dazu hier.

 

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someone