#45. Die Bedeutung kritischer Analysen bei der Untersuchung sozialwissenschaftlicher Beweise
Kommentare zu Jonathan Haidts Die ängstliche Generation
Liebe Freunde,
einen Großteil meiner frühen Karriere als Professor habe ich damit verbracht, ein Lehrbuch für die Einführung in die Psychologie auf College-Niveau zu schreiben und es dann für fünf weitere Auflagen zu überarbeiten (bevor ich die folgenden Auflagen an einen Co-Autor übergab). (Mehr über dieses Buch, einschließlich der Kommentare von Professoren und Studenten, findest du hier). Was ich beim Schreiben und Überarbeiten des Buches gelernt habe, ist Folgendes: Um eine ehrliche, akkurate Sichtweise eines Themas in der Psychologie darzustellen, musste ich die Artikel, auf die ich verwies, kritisch lesen, insbesondere die Abschnitte über die Methodik. Zeigt diese Studie wirklich, was der Titel oder die Zusammenfassung behauptet? Das habe ich nicht bei jedem Artikel gemacht, den ich zitiert habe, aber ich habe mich bemüht, es bei jedem Artikel zu tun, der für die Idee, die ich diskutierte, am relevantesten war.
Dieser Ansatz erhöhte den Zeit- und Arbeitsaufwand für mein 700-seitiges Lehrbuch, das ich alle 4 bis 5 Jahre mit neuen Forschungsergebnissen überarbeiten musste, dramatisch. Aber ich konnte es nicht rechtfertigen, es anders zu machen. Ich stellte fest, dass viele Behauptungen, die zum Standard für den Einführungskurs in die Psychologie geworden waren, von Lehrbuch zu Lehrbuch weitergegeben wurden, da die Autoren im Wesentlichen andere Texte abkupferten, ohne die Originalstudien noch einmal zu lesen und kritisch zu prüfen.
Ein dramatisches Beispiel dafür ist Zimbardos Stanford Prison Experiment, das unkritisch in jedem einführenden Psychologie- und Sozialpsychologie-Lehrbuch beschrieben wurde, das ich finden konnte. Das "Experiment" war eine gute Geschichte, die Professoren gerne erzählten und die Schüler/innen gerne hörten, aber als ich den Originalartikel las, stellte ich fest, dass es gar kein Experiment war und in keiner Weise das zeigte, was Zimbardo oder die vielen Lehrbücher behaupteten, dass es zeigte. Ich bin froh, dass Zimbardos Schein-Experiment nach meiner Kritik in mehreren anderen Publikationen entlarvt wurde. (Meine veröffentlichte Kritik an der Studie findest du hier.)
Was ich damit sagen will, ist Folgendes. Wenn du ein Buch liest, das auf Forschungsstudien verweist, die die These des Autors stützen, solltest du nicht davon ausgehen, dass die Studien wirklich das belegen, was der Autor sagt oder andeutet. Das bringt mich zu The Anxious Generation.
Jonathan Haidts Die ängstliche Generation - eine Gruselgeschichte, die von der Wissenschaft nicht gestützt wird
Ich habe keine Freude an dieser Kritik. Ich habe versucht, sie zu vermeiden, kann es aber nicht mehr. Ich kenne Jonathan Haidt und mag ihn. Wir gehören zu den Mitbegründern der gemeinnützigen Organisation Let Grow. Er und ich sind uns einig, dass Kinder viel mehr Möglichkeiten zum freien Spiel und Abenteuer im Freien brauchen, als unsere Gesellschaft derzeit zulässt, und mit Let Grow haben wir uns gemeinsam dafür eingesetzt. Er und sein Forscher Zach Rausch haben mir sogar geholfen, meinen Substack zu gründen. Sie sind beide freundliche und großzügige Menschen. Ich habe keine Zweifel an Jons Integrität. Ich bin mir sicher, dass er an die Botschaft glaubt, die er in diesem Buch präsentiert, und dass er darin eine wertvolle soziale Reform sieht. Er glaubt wirklich, dass die Abschaffung der Smartphones oder zumindest der sozialen Medien die Kinder glücklicher macht und ihre Angst-, Depressions- und Selbstmordrate senkt, weil sie dann mehr Zeit und Motivation haben, sich in der realen Welt zu treffen und zu spielen.
Als ich auf Jons Bitte hin einen Vorabentwurf des Buches las, sagte ich ihm, dass ich es nicht unterstützen könne und erklärte ihm, warum. Ich hatte mich zu diesem Zeitpunkt bereits umfassend und gründlich mit der Forschung zu den Auswirkungen von Bildschirmen, Internet, Smartphones und sozialen Medien auf die psychische Gesundheit von Jugendlichen befasst und festgestellt, dass es trotz unzähliger Studien, die solche schädlichen Auswirkungen aufzeigen sollten, nur sehr wenige Beweise für solche Auswirkungen gab. Wenn du die Forschungsliteratur selektiv durchsuchst, um Studien zu finden, die die gewünschten Auswirkungen zu zeigen scheinen, und wenn du sie nicht kritisch analysierst, kannst du den Lesern ein überzeugendes Argument liefern. Aber Menschen, die die Forschung wirklich kennen und sie vollständig und kritisch untersucht haben, werden sie durchschauen.
Ich hatte auch die Befürchtung, dass Jons Buch die ohnehin schon vorhandene moralische Panik über mögliche Schäden von Smartphones und sozialen Medien für Kinder noch verstärken würde. Zu Beginn des Buches zieht Jon eine Analogie zwischen der uneingeschränkten Nutzung des Internets durch unsere Kinder und dem Aufwachsen auf dem Mars, wo wir wissen, dass die Bedingungen für menschliches Leben nicht geeignet sind. Igitt!
Es überrascht mich nicht, dass das Buch von Leuten, die nicht auf diesem Gebiet forschen, in den höchsten Tönen gelobt und von Leuten, die es tun, heftig kritisiert wurde. Candice Odgers, Professorin für Sozialwissenschaften und Informatik an der UC Irvine - die nach Meinung vieler die führende US-Forscherin auf dem Gebiet der Beziehung zwischen sozialen Medien und der psychischen Gesundheit von Jugendlichen ist - begann ihre Rezension von Jons Buch in der Zeitschrift Nature (hier) mit den folgenden Worten:
"Zwei Dinge müssen nach der Lektüre von The Anxious Generation gesagt werden. Erstens wird dieses Buch viele Exemplare verkaufen, weil Jonathan Haidt eine beängstigende Geschichte über die Entwicklung von Kindern erzählt, die viele Eltern gerne glauben möchten. Zweitens wird die wiederholte Behauptung des Buches, dass die digitalen Technologien die Gehirne unserer Kinder neu verdrahten und eine Epidemie psychischer Erkrankungen verursachen, von der Wissenschaft nicht unterstützt. Schlimmer noch: Die kühne Behauptung, dass die sozialen Medien daran schuld sind, könnte uns davon ablenken, die wahren Ursachen der aktuellen Krise der psychischen Gesundheit junger Menschen zu bekämpfen.”
Beweise, die die Smartphone/Social Media-Theorie über das Leiden von Jugendlichen widerlegen
Ich werde hier nicht meine Gegenargumente zu den in Jons Buch vorgebrachten Argumenten wiederholen. Ich habe sie, ohne Haidts Namen oder das Buch zu erwähnen, bereits in meiner D-Serie von Briefen dargelegt. Hier ist eine Liste mit einigen dieser Argumente, mit Links zu früheren Briefen, falls du sie nachlesen möchtest.
- Zwischen 1950 und 1990 hat das psychische Leiden unter US-Jugendlichen dramatisch zugenommen. Der Höhepunkt dieses Leidens war 1990 genauso groß wie heute, obwohl es damals noch kein Internet oder soziale Medien gab (Briefe D2 und D4). Tatsächlich war das erste Korrelat der Einführung des Internets eine Verbesserung der psychischen Gesundheit von Jugendlichen zwischen 1990 und etwa 2010 (Brief D3).
- Die Auswertung von Studien, die einen Zusammenhang zwischen der Zeit, die Jugendliche in sozialen Medien verbringen, und ihrem psychischen Leiden herstellen, zeigt gemischte Ergebnisse und keine einheitliche Schlussfolgerung. Einige Studien zeigen eine kleine positive Korrelation, andere eine kleine negative Korrelation, wieder andere zeigen keine Korrelation (Briefe D6 und D7). Außerdem sind Experimente, bei denen einige Teilnehmer/innen aufgefordert werden, auf soziale Medien zu verzichten oder sie einzuschränken, methodisch grundlegend fehlerhaft (Brief D6).
- Länderübergreifende Studien zeigen keinen einheitlichen Zusammenhang zwischen der weit verbreiteten Nutzung von Smartphones oder sozialen Medien und dem psychischen Leiden von Jugendlichen. In einigen englischsprachigen Ländern - vor allem in Kanada, Großbritannien und Australien, die in vielerlei Hinsicht dem Beispiel der USA folgen - stieg das Leiden der Jugendlichen, als Smartphones und soziale Medien weit verbreitet waren. Im Rest der Welt, einschließlich der Europäischen Union insgesamt, war dies jedoch nicht der Fall (siehe Briefe D8 und D9).
- Wenn Jugendliche nach der Ursache für ihr psychisches Leiden gefragt werden, gibt die große Mehrheit an, dass es der schulische Druck ist. Auch viele andere Belege deuten darauf hin, dass die Schule eine Ursache für Ängste und Depressionen unter Jugendlichen ist. Es gibt gute Gründe für die Annahme, dass die Zunahme des schulischen Drucks und die Abnahme des Vergnügens an der Schule, die sich aus der Einführung von Common Core ergibt, der Hauptgrund für die Zunahme von Angstzuständen, Depressionen und Selbstmord unter US-Jugendlichen zwischen 2010 und 2020 ist (Brief D8). Ich werde diese Behauptung in einem oder mehreren zukünftigen Briefen noch weiter ausführen. Jon geht in seinem Buch nicht auf diese Möglichkeit ein.
Beispiel für das kritische Lesen eines Forschungsberichts
Um das Problem des unkritischen Umgangs mit Forschungsberichten zu veranschaulichen, werde ich hier eine methodische Analyse eines der Artikel, die Jon zitiert, vorstellen. Ich könnte das auch mit anderen Artikeln machen, aber ein Beispiel reicht aus, um zumindest den Wert von Skepsis zu zeigen.
Auf den Seiten 147-148 von The Anxious Generation behauptet Jon, dass zufällig zugewiesene kontrollierte Experimente gezeigt haben, dass soziale Medien eine Ursache (und nicht nur ein Korrelat) für das Leiden von Jugendlichen sind. Er führt nur ein Beispiel für ein solches Experiment an, also habe ich es nachgeschlagen und den Artikel gelesen. Die Referenz, falls du sie nachschlagen willst, ist diese: Melissa Hunt et al (2018), "No more FOMO: Limiting Social Media decreases loneliness and depression. Journal of Social and Clinical Psychology, 37, S. 751-768.
An diesem Experiment nahmen 143 Studierende teil, die nach dem Zufallsprinzip entweder die Nutzung von Facebook, Instagram und Snapchat auf maximal 10 Minuten pro Tag und Plattform beschränken oder die sozialen Medien drei Wochen lang wie gewohnt nutzen sollten. Anhand von Fragebögen wurden verschiedene Indikatoren für das subjektive Wohlbefinden der Teilnehmer/innen ermittelt, nämlich das Gefühl der sozialen Unterstützung, die Angst, etwas zu verpassen, Einsamkeit, Angst, Depression, Selbstwertgefühl, Autonomie und Selbstakzeptanz vor, während und nach dem dreiwöchigen Zeitraum. Die Forscher/innen bewerteten auch die tatsächliche Nutzung der sozialen Medien durch die Teilnehmer/innen während der Studie, indem sie sie aufforderten, Screenshots einzureichen, die die Häufigkeit der Nutzung dieser Medien zeigen.
Der größte Fehler dieser Studie, der jedem Sozialwissenschaftler klar sein sollte, ist, dass es keine Kontrollen für Nachfrage- oder Placeboeffekte gibt. Ich werde diese separat beschreiben.
Sozialwissenschaftlerinnen und Sozialwissenschaftler haben wiederholt gezeigt, dass Versuchsteilnehmerinnen und -teilnehmer, die den Zweck eines Experiments und die Hypothese der Forscherinnen und Forscher erraten können, in der Regel bewusst oder unbewusst motiviert sind, diese Hypothese zu unterstützen. Mit anderen Worten: Sie werden wahrscheinlich glauben oder zumindest behaupten, dass sie das erleben, was der Forscher von ihnen erwartet, um die Richtigkeit der Hypothese zu beweisen. Das nennt man den Nachfrageeffekt.
Ich bin mir sicher, dass es einige Gegenstimmen gibt, die zeigen wollen, dass der Forscher im Unrecht ist, aber viele Studien haben gezeigt, dass die meisten Schüler/innen ihre eigenen Antworten in die Richtung lenken, die ihrem Verständnis dessen entspricht, was die Forscher/innen herausfinden wollen. In diesem Fall wäre es für die meisten, wenn nicht sogar für alle Teilnehmer/innen offensichtlich gewesen, dass die Forscher/innen zeigen wollten, dass sie sich besser fühlen würden, wenn sie die Nutzung sozialer Medien reduzieren würden. Gute sozialwissenschaftliche Forschung setzt voraus, dass die Teilnehmer keine Ahnung haben, worum es bei dem Experiment geht oder was die Hypothese der Forscher ist, aber in diesem Fall gab es keine Möglichkeit, das zu verbergen.
Nun zum Placebo-Effekt. Damit ist die einfache Tatsache gemeint, dass Menschen sich besser fühlen, wenn sie glauben, dass sie etwas tun, das ihnen hilft. Deshalb ist es für die Pharmaunternehmen so schwierig, nachzuweisen, dass Medikamente gegen Angstzustände die Ängste oder Medikamente gegen Depressionen die Depressionen verringern. Sie müssen immer Tests durchführen, bei denen die Kontrollgruppe ein inaktives Placebo erhält, das so getarnt ist, dass die Teilnehmer/innen nicht wissen, ob sie das Medikament oder das Placebo erhalten.
In solchen Versuchen führt sowohl das Placebo als auch das Medikament zu einer Verringerung der Angst oder Depression. Um zu beweisen, dass das Medikament wirkt, musst du zeigen, dass es die Angst oder Depression stärker reduziert als das Placebo. Das ist sehr schwer zu beweisen, weil der Placebo-Effekt so stark ist, besonders bei so subjektiven Gefühlen wie Angst oder Depression. In dieser Studie gab es kein Placebo. Die Teilnehmer der Versuchsgruppe wussten sehr genau, dass sie in der Versuchsgruppe waren, und die Teilnehmer der Kontrollgruppe wussten, dass sie in dieser Gruppe waren. Nur die Teilnehmer der Versuchsgruppe hatten Grund zu der Annahme, dass sie etwas Gutes für sich selbst tun würden.
Selbst wenn dieses Experiment eine deutliche Verringerung aller subjektiven Stressfaktoren gezeigt hätte, die in der Studie verwendet wurden, wäre es also unmöglich, eine eindeutige Schlussfolgerung zu ziehen. Jede Verringerung könnte auf den Nachfrageeffekt, den Placeboeffekt oder beides zurückgeführt werden.
Aber jetzt kommt der Knackpunkt. Trotz der Möglichkeit von Nachfrage- und Placeboeffekten fanden die Forscherinnen und Forscher nur sehr schwache und uneinheitliche Auswirkungen der Intervention auf die Messung des Wohlbefindens. Sie fanden keinen signifikanten Gesamteffekt auf das psychologische Wohlbefinden (wenn man die Messgrößen kombiniert), keinen Effekt auf Angst, keinen Effekt auf das Selbstwertgefühl, keinen Effekt auf Autonomie und keinen Effekt auf Selbstakzeptanz. Sie fanden nur relativ geringe Auswirkungen auf die selbstberichtete Einsamkeit und Depression, wobei letztere nur bei denjenigen Teilnehmern signifikant war, die zu Beginn der Studie überdurchschnittlich depressiv waren.
Wenn du viele Dinge misst, ohne vorher zu sagen, welche Dinge beeinflusst werden und welche nicht, kann es sein, dass eines oder mehrere dieser Dinge zufällig in einer Weise herauskommen, die mit der ursprünglichen Hypothese übereinstimmt, vor allem wenn die Auswirkungen eher gering sind. Meiner Meinung nach ist es mindestens genauso vernünftig, die Ergebnisse dieser Studie dem Zufall, dem Placeboeffekt, dem Nachfrageeffekt oder einer Kombination aus all diesen Faktoren zuzuschreiben, wie der geringeren Nutzung von sozialen Medien.
Gute sozialwissenschaftliche Forschung ist nicht einfach, und die Aufgabe, sozialwissenschaftliche Forschung zu interpretieren, ist nicht einfach. Um zu entscheiden, was Leserinnen und Lesern, die mit der sozialwissenschaftlichen Methodik oder den fraglichen Studien nicht vertraut sind, vermittelt werden soll, ist es wichtig, sich die experimentelle Methodik genau anzusehen und nicht nur den Titel, den die Autorinnen und Autoren dem Bericht geben, oder das, was sie in ihrer Zusammenfassung sagen.
Abschließende Überlegungen
Ich würde Haidts Buch nicht kritisieren, wenn ich denken würde, dass es nur eine intellektuell interessante oder unterhaltsame Lektüre wäre. In Wirklichkeit ist es ein Aufruf zum Handeln und hat einen starken Einfluss auf den nationalen Dialog und die politischen Vorschläge. Zu viele Menschen halten dieses Buch für eine maßgebliche Zusammenfassung der Forschungsergebnisse über die Auswirkungen von Smartphones und sozialen Medien und kommen zu dem Schluss, dass wir Kindern und sogar Jugendlichen diese Geräte wegnehmen müssen. In unserer Gesellschaft glauben wir fast reflexartig, dass die Lösung für jedes Problem von Kindern darin besteht, ihnen noch eine weitere Freiheit zu nehmen, und dieses Buch trägt dazu bei, einige dieser Knebel noch weiter zu rütteln.
Ich behaupte nicht, dass die Erkundung der digitalen Welt keine Gefahren birgt, genauso wenig wie die Erkundung der physischen Welt ohne Gefahren ist. Aber anstatt den Kindern die Möglichkeit zu geben, solche Abenteuer zu erleben und daraus zu lernen, sollten wir ihnen Sicherheitsregeln beibringen. Wir sollten auch Regeln aufstellen, die besagen, dass Handys und andere Geräte ausgeschaltet werden, wenn ein persönliches Gespräch möglich ist. Es ist unhöflich, auf ein Klingeln deines Telefons zu antworten, wenn du mir gegenübersitzt, es sei denn, es geht um etwas, das uns beide betrifft, und ich sehe diese Unhöflichkeit bei Erwachsenen mindestens genauso oft wie bei Kindern. Darüber werde ich in einem späteren Beitrag mehr sagen. In einem späteren Beitrag werde ich auch auf den übermäßigen Gebrauch des Wortes "Sucht" in unserer Kultur eingehen und darauf, warum seine Anwendung auf die intensive Nutzung von Smartphones oder anderen digitalen Technologien irreführend und schädlich ist.
Wie immer bin ich sehr an deinen Gedanken zu dem interessiert, was ich hier vorgestellt habe. Eure Kommentare erhöhen den Wert jedes meiner Briefe, für mich und andere Leser. Diese Briefe sollen das kritische Denken fördern, und ich bin immer an den Gedanken der Leserinnen und Leser interessiert, wenn sie überlegt und höflich vorgetragen werden.
Wenn du diesen Substack noch nicht abonniert hast, dann abonniere ihn jetzt und informiere auch andere, die daran interessiert sein könnten. Wenn du dich anmeldest, erhältst du eine E-Mail-Benachrichtigung über jeden neuen Brief. Wenn du derzeit ein freier Abonnent bist, solltest du überlegen, ob du nicht zu einem kostenpflichtigen Abonnement wechselst. Alle Gewinne, die ich aus bezahlten Abonnements erhalte, werden zur Unterstützung von gemeinnützigen Organisationen verwendet, die sich für mehr Spiel und Freiheit im Leben von Kindern einsetzen.
Play Makes Us Human ist eine von den Lesern unterstützte Publikation. Um neue Beiträge zu erhalten und meine Arbeit zu unterstützen, solltest du ein freies oder bezahltes Abonnement abschließen.
Mit Respekt und den besten Wünschen,
Peter