Online-Umfragen: Fragwürdige Zahlenspiele
Text: Hinnerk Feldwisch-Drentrup (mm 05/21)
Grüne vor CDU und CSU, SPD vier Prozentpunkte vor der Union: fast täglich präsentierten Medien vor der deutschen Bundestagswahl solche Schlagzeilen. Das liegt auch daran, dass die zugrundeliegenden Erhebungen dank Online-Umfragen immer günstiger durchgeführt werden können. Ein netter Nebeneffekt ist aus Sicht der Redaktionen zudem, dass sie exklusive Meldungen produzieren: „Laut einer ,Spiegel‘-Umfrage“ habe die eine Partei dann angeblich die andere überholt.
Doch Fachleute trüben die mediale Begeisterung für die Stimmungsbarometer. „Es stimmt etwas nicht mehr mit den Umfragen“, sagt Gerd Gigerenzer, früherer Direktor des Max-Planck-Instituts für Bildungsforschung. Wie kommt der Experte zu diesem Schluss? Zunächst einmal sind Umfragen sehr komplex und mit vielen statistischen Problemen behaftet. Für aussagekräftige Ergebnisse muss die Stichprobe der Befragten tatsächlich Auskunft über die Gesamtbevölkerung erlauben – doch Kostendruck und verzerrte Online-Umfragen verhindern dies. Und immer weniger Kontaktierte nehmen teil, was wiederum zulasten der Verlässlichkeit geht.
Ähnlich problematisch ist die Kommunikation der Ergebnisse. Im Pressekodex steht dazu: „Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.“ Doch schon diese wenigen Angaben werden nur selten wiedergegeben. Die vollständigen Fragestellungen fallen etwa aus Platzgründen gerne unter den Tisch. Und Angaben zur statistischen Unsicherheit finden sich höchstens formelhaft am Ende des Textes. Dabei beträgt diese oft mehrere Prozent plus oder minus: Wenn eine Partei auf einen Wert von 40 Prozent kommt, liegt das sogenannte Konfidenzintervall in der Regel bei mindestens 37 bis 43 Prozent. Das kann in der Praxis entscheidend sein. „Grüne knapp vorn“, erklärte etwa das ZDF-Politbarometer im Mai 2021 – dabei betrug der Unterschied zur Union lediglich einen Prozentpunkt. Genauso gut hätte somit die Union vorne liegen können. Solche Schlagzeilen seien schlicht irreführend, sagt deshalb Gigerenzer. „Grüne und Union ungefähr gleichauf“, wäre korrekt gewesen.
Was sagen Medien zu diesen Vorwürfen? Die Forschungsgruppe Wahlen halte es für „sehr wichtig“, den statistischen Fehlerbereich anzugeben und zu berücksichtigen, sagt ein ZDF-Sprecher. „Dennoch müssen auch nahe beieinanderliegende Umfrageergebnisse beschrieben und benannt werden.“ In den rund sechsminütigen Politbarometer-Sendungen werde „aufgrund der eng begrenzten Sendezeit“ die statistische Unsicherheit nicht erwähnt, sondern auf eine Webseite verwiesen. Bei jedem Umfragewert den Fehlerbereich anzugeben, sei „nicht umsetzbar“.
„Das sehe ich anders“, sagt Ulrich Kohler, der an der Uni Potsdam den Lehrstuhl für Methoden der empirischen Sozialforschung innehat. Man müsse es nur wollen. Er glaubt, dass die Unsicherheit absichtlich nicht deutlich kommuniziert wird. „Die konsequente Berichterstattung über Fehlerbereiche wäre vermutlich geschäftsschädigend“, sagt er. „Die beteiligten Personen haben ein Interesse daran, dass man es zuspitzt.“ Umfrageinstitute und Medien verschleierten die Unsicherheit – indem sie diese etwa in einen Absatz am Ende eines Textes auslagerten. „Viele meiner Kollegen sehen darin kein großes Problem, da Meinungsumfragen als Infotainment abgetan werden“, räumt Kohler ein. Für ihn seien diese jedoch Teil des Rückkopplungsprozesses zwischen Wählerschaft und Politik – und somit relevant.
Die Berichterstattung über Umfragen sei „absolut unzureichend“, sagt auch Rainer Schnell, Inhaber des Lehrstuhls für empirische Sozialforschung an der Universität Duisburg-Essen. „Total verheerend“ sei es, wenn etwa vom ZDF-Politikbarometer geringe Unterschiede zur Vorwoche als relevant dargestellt würden, obwohl sich die Ergebnisse innerhalb der Fehlerbereiche eigentlich nicht unterschieden. „Die Kollegen sind nicht dumm, aber sie schaffen es, ernst zu bleiben – dafür muss man sie beglückwünschen“, sagt Schnell.
Für ihn sind Befragungen auf Webseiten „Pseudo-Umfragen“, die nicht einmal als Stimmungsbild taugten. Zuverlässig seien Umfragen, die auf einer Gruppe von zufällig ausgewählten Menschen basieren – so dass jeder in der Bevölkerung eine bestimmte Chance hat, befragt zu werden. Am besten geht das über Einwohnermelderegister, doch dies ist sehr aufwendig und teuer. Stattdessen rufen klassische Umfrageinstitute in der Regel zufällig erzeugte Festnetz- und Handynummern an. Doch selbst wenn die Ergebnisse so angepasst werden, dass sie der Alters- oder Geschlechtsverteilung der Bevölkerung entsprechen, bleibt trotzdem ein Teil der Bevölkerung unterrepräsentiert: etwa Menschen mit Sprachbarrieren oder ohne Telefon. Hinzu kommt die Frage, wie motiviert die Befragten sind – dies hängt etwa vom persönlichen Bezug zum Thema ab. Und schließlich werden teils sozial erwünschte Antworten gegeben.
Aufgrund dieser Einschränkungen sei schon das Telefon als Erhebungsmethode „aus wissenschaftlicher Sicht schwer zu rechtfertigen“, sagt Schnell. Das gelte auch für Online-Umfragen. Denn Menschen, die im Netz freiwillig Fragen beantworten, entsprächen erst recht nicht dem Durchschnitt. Auch hier bringen Anpassungen nicht viel, um wirkliche Repräsentativität herzustellen – in der Summe kann dies zu entscheidenden Verzerrungen führen.
Dieser Beitrag stammt aus Ausgabe 05/21. Die aktuelle Ausgabe 02/23 mit einer Recherche zu Funke-Chefin Julia Becker, einem Praxis-Special zu KI-Tools für Medienprofis, dem Dossier „Macht“ sowie ganz viel Nutzwert für die journalistische Berufspraxis ist ab sofort digital oder als Printausgabe hier erhältlich oder im ikiosk.
In Richtung der Medien findet der Experte drastische Worte – insbesondere was Berichterstattung über Umfragen der Onlinebefrager Civey oder Yougov angeht. Auf diese greifen viele Redaktionen zurück, obwohl deren Teilnehmer eine recht spezielle Population widerspiegelten und die Ergebnisse sich kaum auf die Gesamtbevölkerung übertragen ließen. „,Der Spiegel‘ hat aus meiner Sicht jeden Kredit als Nachrichtenquelle verloren, weil sie mit dem Civey arbeiten und die Grenzen dieser Online-Umfragen nicht reflektieren“, sagt er.
Auf seiner Webseite hat „Der Spiegel“ durchaus Infos zusammengestellt. Dort wird jedoch etwa angegeben, dass die Umfrageergebnisse „für die Wahlbevölkerung in Deutschland repräsentativ“ seien. Folgt man aber den Aussagen der Experten, kann diese Angabe bereits nicht stimmen. Auch heißt es, der statistische Fehler werde in Grafiken als farbiges Intervall dargestellt – das ist jedoch oft nicht der Fall. Civey selbst erklärt auf Nachfrage, seine Nutzerstruktur sei in Bezug aufs Alter ausgewogen und ermögliche verlässliche Aussagen für erwachsene Deutsche. „Unsere Erfahrung gerade bei der letzten Bundestagswahl zeigte, dass sehr viele Medien verantwortungsvoll mit Unsicherheiten bei Umfragen – ganz besonders bei Wahlumfragen – umgehen.“
Tatsächlich lagen bei der jüngsten Bundestagswahl fast alle Umfrageinstitute bei ihren letzten Erhebungen vor der Wahl vergleichsweise nah an den späteren Ergebnissen. Doch dies ist kein Beweis für eine allgemeine Zuverlässigkeit. Schnell verweist darauf, dass es insbesondere bei Civey und Yougov eine „lange Geschichte von schiefgegangenen Prognosen“ gebe – zuletzt etwa bei der Landtagswahl in Sachsen-Anhalt.
Was bleibt also für die Zukunft der beliebten Meinungsumfragen? Laut Schnell zeichnet sich ab, dass sich das Feld langfristig aufspaltet – einerseits gebe es „Infotainment-Zeug, was die Forschungsgruppe Wahlen oder ganz extrem Civey machen“, und andererseits wissenschaftliche Befragungen. Klar ist, dass es sinnvoll wäre, deutlich weniger Umfragen durchzuführen und diese dafür qualitativ hochwertiger zu gestalten. Doch viele Medien haben hieran wohl kein Interesse.