Die Vermessung des Bürgers: Wie Meinungsumfragen funktionieren

Von Thomas Petersen

Viele Menschen, denen man Umfrageergebnisse oder Statistiken präsentiert, reagieren darauf mit dem Satz "Ich glaube keiner Statistik, die ich nicht selbst gefälscht habe." Doch dieser Satz ist nicht nur logisch Unsinn. Die allermeisten Statistiken sind nicht gefälscht und wer sich weigert, sie zur Kenntnis zu nehmen, dem entgehen wichtige Informationen. Es ist allerdings nicht ganz leicht, mit Statistiken umzugehen. Wer die »Sprache der Zahlen« nicht versteht, der wird von ihnen leicht in die Irre geführt. Mit diesem Band führt der Autor fundiert und unterhaltsam in die Welt der Umfragen und Statistiken ein. Er zeigt dem Leser, warum man Umfragen benötigt, wie sie funktionieren, wie man verlässliche Untersuchungen von pseudowissenschaftlichen »Studien« unterscheidet und wie die Ergebnisse von Umfragen und anderen statistischen Erhebungen zu deuten sind. Nebenbei erfährt der Leser, warum der ADAC-Skandal eigentlich kein Grund zur Aufregung war, was so gefährlich am gesunden Menschenverstand ist, was man beim Kauf von Nüssen beachten sollte, warum man als Umfrageforscher manchmal die falschen Fragen stellen muss, woran Friedhofsgärtner Traktorenmarken erkennen, warum die Armutsstatistik nichts über Armut aussagt, wie man nervöse Börsenmakler beruhigen kann – und warum Pferde am liebsten Mädchen beißen.

• Sprache: Deutsch
• Herausgeber: Herbert von Halem Verlag
• Erscheinungsdatum: 16. Sept. 2015
• ISBN: 9783744508308

Thomas Petersen

Thomas Petersen (født 1938) er uddannet historiker og var fra 1966 til 2000 ansat på Aarhus Universitet med Ruslands historie, kultur og samfundsforhold som forsknings- og undervisningsområde. Han udgav i 2010 bogen "Min vej østover", hvis indhold er en blanding af viden, reflektioner og rejseopleelser fra et halvt århundredes beskæftigelse med vor store nabo mod øst.

Buchvorschau

1 Eine endlose Diskussion

Anfang des Jahres 2014 herrschte große Aufregung in der deutschen Öffentlichkeit. Die „Süddeutsche Zeitung hatte herausgefunden, dass der ADAC bei der Ermittlung des Preises „Gelber Engel für das angebliche Lieblingsauto der Deutschen gemogelt hatte. Zunächst hieß es, „nur die Teilnehmerzahlen der Internet-Abstimmung, die der Preisverleihung zugrunde lag, seien falsch angegeben worden, wenig später stellte sich heraus, dass darüber hinaus auch die Ergebnisse manipuliert worden waren. Die veröffentlichte Rangliste spiegelte gar nicht die tatsächliche Reihenfolge der beliebtesten Autos in Deutschland wider. Die Enthüllung stürzte den Automobilclub in eine schwere Krise. Der Preis „Gelber Engel wurde abgeschafft, der Präsident musste zurücktreten, die Automobilhersteller gaben ihre Preise zurück, tausende Mitglieder verließen den Verein. Sie, wie auch viele andere Bürger, Politiker und Journalisten fühlten sich vom ADAC hintergangen, ihr Vertrauen war enttäuscht worden.

Die Enttäuschung wäre ihnen erspart geblieben, wenn sie auch nur ein wenig von Umfrageforschung verstanden hätten, wie ich aus eigener Erfahrung berichten kann:

Vor rund zwanzig Jahren blieb ich an einem Freitagabend mit meinem altersschwachen VW-Bus auf der Autobahn liegen. Der ADAC-Mechaniker, der mir zur Hilfe kam, stellte fest, dass die Benzinpumpe kaputt gegangen war. Der 24-Stunden-Ersatzteilservice von VW hatte natürlich schon längst Feierabend. Der Mechaniker betrachtete ein paar Minuten lang sinnend meine kaputte Benzinpumpe, dann sagte er entschlossen: „Aus Scheiße mach Bonbons" und modellierte das zu Bruch gegangene Schräubchen aus Lötzinn nach. Es funktionierte. Das war ein großartiger Mann. Sein Motto und sein Handeln habe ich nie vergessen.

Seit diesem Tag bin ich vollauf überzeugtes ADAC-Mitglied, erhalte regelmäßig die Mitgliederzeitschrift und weiß deswegen, dass sie zwanzig Jahre lang, bis zu dem Skandal, voll war von statistischen Daten, die das Papier nicht wert waren, auf das sie gedruckt worden waren. Ich kenne keine andere Publikation, die so viel offensichtlichen statistischen Unsinn enthielt. Anfangs waren es meistens „TED-Umfragen, bei denen Teilnehmer nach Belieben anriefen und ihre Meinung sagten, später waren es Internet-Abstimmungen, die als angebliche Bevölkerungsmeinung präsentiert wurden. Beide Methoden sind zur Messung der Bevölkerungsmeinung völlig ungeeignet, die Ergebnisse waren dementsprechend auch nicht selten geradezu unfreiwillig komisch. Als ich in den Zeitungen las, es herrsche große Aufregung darüber, dass der ADAC die Ergebnisse seiner Internet-Abstimmung zum „Lieblingsauto der Deutschen manipuliert habe, war ich deswegen überhaupt nicht enttäuscht, sondern mein einziger Gedanke war: Na und? Falscher konnten die Zahlen durch die Manipulationen doch ohnehin nicht werden. Der eigentliche Skandal lag in der Bezeichnung „Lieblingsauto der Deutschen", die durch die Methode niemals auch nur annähernd gerechtfertigt war, selbst wenn die Zahlen nicht verändert worden wären. Doch darüber regte sich niemand auf.

Das Beispiel zeigt, warum es sich lohnen kann, sich zumindest ein wenig mit den Regeln der Statistik und der Umfrageforschung vertraut zu machen: Man verhindert damit, dass man von falschen Zahlen in die Irre geführt wird – und man schafft damit erst die Voraussetzungen dafür, dass man aus richtigen Zahlen einen Informationsgewinn ziehen kann.

Vor allem aber zeigt das Beispiel, wie wenig die Experten bisher mit ihren Versuchen in der Öffentlichkeit durchgedrungen sind, die Möglichkeiten und Grenzen der Umfrageforschung und anderer statistischer Informationen zu erläutern. Wären sie erfolgreicher gewesen, hätte es die Aufregung über den ADAC nicht geben können, ja wahrscheinlich hätte der ADAC dann weder die obskure Methode zur Ermittlung des „Lieblingsautos der Deutschen" gewählt, noch wäre er auf den Gedanken gekommen, die Ergebnisse zu manipulieren.

Eine Wutrede

Die Schuld an dieser Situation ist nicht beim Publikum, sondern bei den Forschern selbst zu suchen. Sie sind nur in seltenen Ausnahmefällen gute Propagandisten ihrer eigenen Sache. Nur die wenigsten von ihnen können sich in die Lage von Nichtexperten hineinversetzen, und deswegen fallen die Empfehlungen der Wissenschaftler zum Umgang mit ihrer Profession meistens ziemlich wirklichkeitsfern aus.

Das ganze Ausmaß des Problems wurde mir vor einigen Jahren auf einer Fachtagung am Comer See in Norditalien klar. So sehr, dass es mir selbst den Tagungsort verleidete. Bereits zum achten Mal seit fast eineinhalb Jahrzehnten saßen wir mit rund 25 Sozialwissenschaftlern aus einem Dutzend Ländern zusammen und klagten darüber, dass anscheinend nur wenige Menschen in der Öffentlichkeit in der Lage sind, gute, informative Umfragen von schlechten, oberflächlichen oder gar völlig unsinnigen zu unterscheiden. Wieder einmal klagten wir darüber, dass gute Umfrageforschung von schlechter verdrängt wird, weil sie im Zweifel billiger ist und schneller zur Verfügung steht, vor allem dann, wenn es darum geht, ein unliebsames Forschungsergebnis rasch zu „widerlegen." Zum wiederholten Mal erhoben die Kollegen die Forderung, die Redaktionen in Zeitung und Fernsehen müssten doch wenigstens die methodischen Basisdaten einer von ihnen veröffentlichten Umfrage mit dokumentieren, und doch war es klar, dass dies folgenlos bleiben würde. Was sollte das alles?

Nicht dass der Ort unangenehm oder die Klagen unberechtigt gewesen wären. Ganz im Gegenteil. Man kann sich kaum einen besseren Ort für eine kleine Tagung vorstellen als die Villa la Collina in Cadenabbia am Comer See, das Anwesen, auf dem Konrad Adenauer seit den späten 1950er-Jahren seine Ferien verbrachte. Die Villa selbst dient heute als elegantes Gästehaus, etwas unterhalb davon hat die Konrad-Adenauer-Stiftung ein kleines Tagungszentrum eingerichtet, das für intensive Diskussionen in angenehmer Atmosphäre wie geschaffen ist – wenn man keine Angst vor den großen, harmlosen aber grimmig dreinblickenden Hunden hat, die dort herumlaufen, und wenn man die Dauerbeschallung durch knatternde Zweitakt-Fahrzeuge erträgt, mit denen die Gärtner der Anlage stets demonstrativ nahe am Tagungsraum vorbeifahren, wohl um zu demonstrieren, wie eifrig sie mit der Instandhaltung des parkartigen Grundstücks beschäftigt sind.

Der Grund, warum sich die in der „World Association for Public Opinion Research (WAPOR) zusammengeschlossenen Umfrageforscher aus Universitäten und privaten Instituten seit 1996 alle zwei Jahre in Cadenabbia trafen, war eben jene Beobachtung, dass Qualität in der Umfrageforschung sich kaum durchsetzen kann, weil in der Öffentlichkeit die Qualitätskriterien fehlen, mit denen sich gute Forschung von schlechter unterscheiden lässt. „Es kommt dabei eben immer dasselbe heraus, sagte einmal der Allensbacher Forscher Friedrich Tennstädt: „Es sind immer Prozentzahlen."

Der konkrete Auslöser für die Einrichtung der Tagungen in Cadenabbia war eine Rede – man kann beinahe sagen: Verzweiflungsrede – des amerikanischen Umfrageforschers Daniel Yankelovich gewesen, die dieser gehalten hatte, als ihm im Jahr 1995 der „Helen Dinerman Award, die höchste Auszeichnung die es in der Umfrageforschung gibt, für sein Lebenswerk verliehen worden war. Seit die Umfrageforschung in der Öffentlichkeit von den Medien kontrolliert werde, hatte er ausgeführt, hätten auch journalistische Interessen die Oberhand über die Qualität und Verlässlichkeit der Umfrageergebnisse gewonnen: „So traurig es ist, die Medien riskieren nichts, wenn die Ergebnisse nicht stimmen und haben darum auch kein Interesse daran, in die Qualität von Umfragen zu investieren. Eine rituelle Bekundung der Drei-Prozent-Fehlerspanne ist alles. Seit die Medien die Umfragen kontrollieren, ist die ‚Quicky-Umfrage‘ die Regel geworden. Und wenn einmal irgendwo eine gute Umfrage gemacht wird, wird sie mit den schlechten zusammengeworfen. Schlechte Umfragequalität vernichtet gute Umfragequalität. Solange die Medien nur unter dem Gesichtspunkt: aktuell? aufregend? bewerten, werde man, so Yankelovich, „immer mehr von diesen oberflächlichen Umfrage-Schlaglichtern haben, immer mehr Berichte, die sich nur auf eine einzelne Frage stützen, immer mehr Konfusion, immer mehr Irreführung und immer weniger Beitrag zum Verständnis der Bevölkerung." ¹

Beipackzettel und Karate

Nun, mehr als ein Jahrzehnt nach Yankelovichs Brandrede, saßen wir zum wiederholten Mal in Cadenabbia bei der Veranstaltung, die wir ins Leben gerufen hatten um zu überlegen, wie man sich der Entwicklung entgegenstellen könnte, und stellten fest, dass in den vorangegangenen Jahren alles eher noch schlimmer geworden war. Inzwischen hatte eine Flut billiger und größtenteils unnützer Online-Umfragen die Öffentlichkeit überschwemmt. Waren es ein Jahrzehnt zuvor fast nur die sogenannten „Ted-Umfragen gewesen, die mit vollkommen irreführenden Ergebnissen gelegentlich Eingang in die Berichterstattung fanden und dort so behandelt wurden, als handele es sich dabei um eine verlässliche Information, waren es nun ungezählte Online-Abstimmungen, die den Nutzer von Internet-Seiten aller Art zur Beteiligung einladen: Soll der Minister zurücktreten, ja oder nein? Wird Bayern deutscher Fußballmeister? Wer soll bei der Landtagswahl als Kandidat antreten? Oder eben: Was ist Ihr Lieblingsauto? Klicken Sie hier, stimmen Sie ab und gewinnen Sie mit etwas Glück einen exklusiven Kugelschreiber. Viele dieser „Umfragen sind kaum sinnvoller als die Abstimmung, zu der die „Thüringer Allgemeine" ihre Leser im November 2005 aufrief (Abb. 1).

Abb. 1: Missglückte Leserumfrage

(Quelle: Thüringer Allgemeine vom 5. November 2005)

Um Missverständnissen vorzubeugen: Es ist weder gegen Ted-Umfragen noch gegen Abstimmungen im Internet oder auch per Zeitungscoupon etwas einzuwenden, solange allen Beteiligten klar ist, dass es sich dabei um ein Spiel und nicht um eine ernstzunehmende Informationsquelle handelt. Zur Stärkung der Bindung der Leser an ihre Zeitung oder zur Ermittlung des Wettkönigs bei „Wetten Dass?" sind diese Verfahren sicherlich gut geeignet. Doch es vergeht kaum ein Tag, an dem nicht die Resultate solcher Spiele als Information über den vermeintlichen Bevölkerungswillen präsentiert werden, von den meisten Lesern und Zuschauern von richtigen Repräsentativumfragen nicht zu unterscheiden.

So klagten wir also erneut über die Verbreitung schlechter Umfragequalität und vor allem über die Unfähigkeit oder den Unwillen der Massenmedien, zwischen den verschiedenen Informationsquellen und -arten zu unterscheiden. Als Konsequenz solcher Klagen begannen wir, wie wir es ebenfalls schon seit Jahren getan hatten, Forderungen zu formulieren, welche Informationen denn in jedem Fall in der Berichterstattung über Umfragen enthalten sein müssten: Die Frageformulierungen gehörten selbstverständlich dazu, die Zahl der Befragten, die Art, wie die Befragten ausgewählt wurden, die statistisch bedingte Fehlertoleranz, die alle Umfragen unvermeidlich kennzeichnet, der Name des Auftraggebers und so weiter. Hat man einmal eine solche von den Kenntnissen und Informationsbedürfnissen der Experten diktierte Liste zusammengestellt, lässt sich leicht Klage darüber führen, dass eben diese Kriterien von den Redaktionen in den allermeisten Fällen nicht eingehalten werden. Daran schließt sich dann folgerichtig die Frage an, wie man die Redakteure dazu erziehen könne, diese Fachinformationen in ihre Berichterstattung aufzunehmen.

Doch nach und nach wurde mir klar, dass wir mit diesen Ansätzen, die Zeitungen dazu zwingen zu wollen, ihre Leser über alle fachlich relevanten Details einer Umfrage zu informieren, weder den Redaktionen noch den Lesern gerecht wurden. Welche Redaktion käme schon auf die Idee, ihren wissenschaftlichen Meldungen Beipackzettel mit detaillierten Beschreibungen der angewandten Methoden und der wissenschaftlich definierten Grenzen ihrer Aussagekraft beizufügen? Und was hätte der Leser denn dadurch gewonnen, wenn er mit Informationen über Stichprobenverfahren und Fehlertoleranzen überhäuft würde, die er ohnehin nicht verstehen kann. Er interessiert sich – wenn überhaupt – nur für die inhaltliche Aussage einer Umfrage, nicht für die Details ihrer Durchführung.

Und war nicht, so die daran anschließende Überlegung, der ganze Ansatz verkehrt, den Zeitungslesern etwas aufzubürden, was eigentlich die Aufgabe der Journalisten sein sollte, nämlich zu entscheiden, welche Information verlässlich und sinnvoll ist und welche nicht? Bei keiner anderen Art der in Medien verbreiteten Information käme man auf den Gedanken, vom Mediennutzer zu verlangen, er solle gefälligst selbst die Spreu vom Weizen trennen, etwa indem man sämtliche eingehenden Nachrichten aus