Die NoBillag-Initiative fordert die Abschaffung aller Radio- und TV-Gebühren. Der Abstimmungskampf rund um die Initiative wird intensiv geführt – auch auf Social Media – und das schon relativ lange. Wir sammeln seit dem Aufkeimen des Abstimmungskampfes Twitter-Daten und zeigen, wer am aktivsten ist, welches politische Lager sich besonders engagiert und welche Journalisten am meisten zwitschern. Mittels Machine Learning haben wir die Tweets klassifiziert um herauszufinden, ob Gegner oder Befürworter die Nase vorne haben.
[Korrigendum: In der ersten Version dieses Artikels haben wir die Beschriftung Pro/Kontra in der Grafik der beiden Lager über die Zeit verwechselt. Dies ist nun angepasst (6.2.18).]
Es scheint, als wäre «No Billag» omnipräsent. Kaum ein Tag vergeht, an dem nicht in irgendeinem Medium von der kommenden Abstimmung berichtet wird. Aus diesem Grund haben wir uns die Tweets zum #nobillag angeschaut. Wir sammeln die Daten bereits seit dem Frühjahr 2015, jedoch besteht die Datengrundlage für diesen Bericht lediglich aus Tweets, welche nach dem 31. August 2017 gemacht wurden. Konkret: Seit dem 1. September 2017 (und damit 184 Tage vor der Abstimmung) wurden über 60’000 Tweets verschickt – das ist rekordverdächtig. Damit diese Zahl etwas in Relation gebracht werden kann der Vergleich: In den letzten acht Tagen vor der Bundesratswahl 2015 wurden 2310 Tweets verschickt und zum #abst17 wurde im ganzen Jahr (2017) weniger als 20’000 Tweets verschickt.
Die Arena: Lagerfeuer mit Ausstrahlung bis in die Social Media
Das rege Interesse spiegelt sich auch in den folgenden Zeitverläufen wider: Sind im Oktober noch durchschnittlich 217 Tweets pro Tag verschickt worden, so sind es im Januar bereits knapp 610 Tweets pro Tag. Einen vorläufigen Höhepunkt wurde in der Woche 44 im November 2017 erzielt: Damals fand die Arena zur Abstimmung statt. Vor dem lodernden «Lagerfeuer Fernsehen» haben sich während dieser Arena – zumindest für eine Stunde – Gegner und Befürworter versammelt, um dem Abstimmungskampf auf Twitter seinen bisher hitzigsten Höhepunkt zu schenken. Die Arena, ein Format aus der Ära des Röhrenfernsehgeräts, hat an dem Abend ein veritables Feuer der Deliberation im digitalen Raum entfacht.
Die aktivsten
Politische Lager
Wir haben uns auch angeschaut welche Bundesparlamentarierinnen und Parlamentarier sich auf Twitter äussern. Jene aus der SP sind am fleissigsten, dann folgen die von der SVP, welche wiederum vor der Grünen Partei sind. Es ist jedoch zu vermerken, dass die Volks- und Kantonsvertreter deutlich seltener als Medienschaffende tweeten (~700 Tweets).
Welche Journalisten besonders aktiv zwitscherten
Dank Dario Siegen und Adrian Rauchfleisch konnten wir zusätzlich untersuchen, welche Medienschaffenden sich zur Intiative mit diesem Hashtag äusserten.[1] Wie Sie der Rangliste entnehmen können, kann man sich streiten, wer als Medienschaffend gilt und wer nicht. Zum Beispiel stellt sich die berechtigte Frage, ob die Bezeichnung «Freischaffend» bereits zum Label «Journalist» reicht. Es zeigt aber auch, wie schwierig eine solche Klassifizierung ist. So oder so finden Sie untenstehend die Top 20 der Medienschaffenden.
| Twitter-Handle | Prozent der Tweets |
|---|---|
| GregBarbey | 3.41% |
| FlorianSchwab | 3.34% |
| peter_schibli | 2.45% |
| AndreaChristen3 | 2.38% |
| sandroluescher | 2.14% |
| XavierBloch | 2.05% |
| AntonioCivile | 1.86% |
| juergvollmer | 1.81% |
| DennisBuehler | 1.72% |
| redder66 | 1.25% |
| miperrico | 1.20% |
| retoperitz | 1.20% |
| MichelVenetz | 1.15% |
| feusl | 1.13% |
| BornBeatrice | 1.03% |
| RaphAuberT | 1.03% |
| Frau_W | 0.96% |
| ZeitRauber | 0.94% |
| ChantalTauxe | 0.85% |
| RenatKuenzi | 0.82% |
Welches Lager hat auf Twitter die Nase vorne?
Waren die Befürworter oder die Gegner auf Twitter aktiver? Dieser Blogpost stellt insofern eine Premiere dar, als dass wir mittels innotativer Werkzeuge versucht haben, Antworten auf diese Frage zu liefern. Tweets zu klassifizieren ist gegeben ihrer Kürze – meist unter 140 bis maximal 280 Zeichen – kein Kinderspiel. Insbesondere wenn für die Einordnung nur der Text selbst und keine zusätzlichen Kontextinformationen oder Angaben zu den Twitterern verwendet werden. Mit einem reduzierten Datensatz deutschsprachiger Tweets, in welchem wir vermeintliche Kontra- und Pro Tweets anhand gewisser Indizien (u.a. den Hashtags #NeinzuNobillag vs #JazuNobillag) kennzeichnen konnten, haben wir einen Machine Learning Algorithmus trainiert. Genaueres zum Verfahren, seinen Stärken und Schwächen gibt es im Abschnitt zur Methodik, weiter unten, zu lesen. Die Klassifizierung soll aufzeigen wie aktiv die beiden Lager über die Zeit waren.
Die Resultate des Modells weisen auf eine Aufholjagd der Initiativgegner hin. Gemessen an der Aktivität – also der Anzahl Tweets – haben die Initativbefürworter beim Hashtag #NoBillag die Nase vorne. Die Reichweite haben wir aus Zeitgründen (vorerst) ausgeklammert. Die Initiativbefürworter haben den Abstimmungskampf auf Twitter früh lanciert und scheinen zu Beginn noch auf wenig Gegenwehr gestossen zu sein. Die Präsenz der Befürworter nimmt jedoch laufend zu und es ist klar zu erkennen, zu welchem Zeitpunkt die Gegenkampagne an Fahrt aufgenommen hat. Der Anteil der befürwortend eingestuften Tweets steigt mit annäherndem Abstimmungstermin stark an. Im ursprünglichen Post wurden die Labels aus Versehen vertauscht, wofür wir uns entschuldigen möchten. Wir haben uns zu stark auf eine möglichst akkurate Klassifizierung der User konzentriert und haben die Abbildung des Zeitverlaufes aufgrund der knappen Zeit nicht genügend hinterfragt.
Wie akkurat ist unser Machine Learning Modell?
Unser Machine-Learning Modell klassifiziert die einzelnen Tweets anhand der Muster, die es im Text aufstöbert. Es bestimmt auf diese Weise, ob der Tweet eher dem Pro- oder Kontra NoBillag-Lager zuzuordnen ist. Die Grafik unten zeigt, wie die Tweets der Top-Twitterer klassifiziert wurden und zu welchen Anteilen Sie als Pro / Kontra klassifiziert wurden. Diejenigen mit einem Anteil über 50% an Kontra-Tweets befinden sich links, die mit mehr als 50% Pro-Tweets rechts. Die Grafik offenbart, dass wir anhand unseres Modells – welches nach wie vor ein Protoyp ist – von den 100 fleissigsten Twitternutzern die meisten richtig einordnen würden. Das Modell ordnet die Tweets der Initiativbefürworter etwas kosnistenter ein. Bei den Initiativgegnern wird eine höhere Zahl Tweets dem entgegengesetzten Lager zugeordnet. Daher gehen wir davon aus, dass die Kontra-Seite vom Algorithmus unterschätzt wird und die Anteile der zwei Lager daher weniger weit auseinander liegen, als die Grafik zu den Anteilen im Zeitverlauf oben suggeriert. In dieser Hinsicht besteht somit Optimierungspotential, welches wir bei nächster Gelegenheit durch ein feiner austariertes Modell auszuschöpfen gedenken.
Eine Schwäche unseres Modells ergibt sich daraus, dass wir das Modell zwingen eine binäre Entscheidung zu treffen. Dies führt dazu, dass die Tweets aller Nutzer einem der zwei Lager zugeordnet werden. Diese schwarz-weiss Einteilung wird der Realität nicht gerecht. Es gibt in der Debatte um NoBillag auf Twitter durchaus auch Stimmen mit differenzierten Ansichten, oder solche die lediglich Informationen teilen und als neutral eingestuft werden sollten. Diese Fälle lassen sich eigentlich nicht in eine der zwei Schubladen stecken. Eine dritte Kategorie für die nicht einwandfrei klassifizierbaren Fälle würde hier Abhilfe schaffen. Abschliessend gilt es jedoch zu sagen, dass die grosse Mehrheit in der stark polarisierten Debatte auf Twitter die eigene Position relativ deutlich preis gibt und das Modell – alles in allem – ziemlich gute Arbeit leistet.
NoBillag : droht die trumpisierung der schweizer Abstimmungsdemokratie?
Hitzige Abstimmungskämpfe sind per se nichts neues. Doch NoBillag setzt in punkto Intensität und Gehässigkeit gerade neue Massstäbe. Auf Twitter, dem digitalen Hauptschauplatz der politischen Auseinandersetzung, fliegen die Fetzen besonders häufig. Für einmal sind es nicht nur Trumps Tweets, welche die Schlagzeilen füllen, sondern auch Tweets im Zusammenhang mit NoBillag, die vermehrt als Vehikel für Beleidigungen und Ausfälligkeiten dienen. Ist NoBillag in dieser Hinsicht ein Sonderfall? Oder müssen wir im Rahmen der immer stärkeren Verlagerung des politischen Schlagabtausches in die digitale Arena mit aggressiver geführten Abstimmungskämpfen – quasi einer Trumpisierung unserer Abstimmungsdemokratie – rechnen? Die Antwort darauf steht (noch) in den Sternen geschrieben, doch werden wir auch in Zukunft weiterhin systematisch Twitter-Daten sammeln um Fragen dieser Natur nachgehen zu können.
Thomas Lo Russo und Thomas Willi
[1] Hier finden Sie Dario Siegen und hier Adrian Rauchfleisch.
Weitere Infos zum Modell
Die erste Bewährungsprobe für viele Machine Learning Modelle ist die Vorhersagepräzision, welche in einem Testdatensatz erreicht wird. Unser Modell erreichte eine Vorhersagepräzision von über 90%, was gegeben dem Umstand dass das Model über kein Kontextwissen verfügt – bescheiden ausgedrückt – ziemlich beeindruckend ist. Dies bedeutet jedoch nicht, dass die Generalisierbarkeit des Modells auf alle Tweets einwandfrei möglich und die Klassifzierung aller Tweets perfekt ist. Unser ‘Desicion-Tree’ Modell haben wir mit 9500 Tweets trainiert und anhand von 2300 Tweets getestet. Im Anschluss haben wir das Modell verwendet um die 30’000 deutschsprachigen Tweets zu klassifizieren, welche seit September 2017 abgesetzt wurden. Wie bereits weiter oben erwähnt scheint das Modell den Anteil an Kontra-NoBillag-Tweets zu unterschätzen, wie die Tweet-Anteile der Top-Twitterer verdeutlichen (siehe Grafik zu User-Anteilen).
Korrigendum
Wir haben das Script und die Daten für die zu Beginn erwähnte Grafik hier hochgeladen.
Loading ...
