FAQ: Wissenschaftliche Methodik

Das folgende FAQ stellt eine Übersicht zu häufig gestellten Fragen bzw. Missverständnisse bzgl. wissenschaftlicher Methodik dar. Es wird kontinuierlich erweitert. Bei weiteren Fragen oder Anmerkungen wenden Sie sich gerne an: pressepsychologistsforfuture.org.

Oft entstehen Missverständnisse schon allein dadurch, dass sich unsere Alltagssprache von der wissenschaftlichen Sprache unterscheidet. Begriffe, auf die dies zutrifft, sind hier aufgeführt und werden im Folgenden erklärt:

  • Beweise
  • Theorie
  • Modelle
  • Konsens
  • Unsicherheit
 
A. Beweise:

Nur formale Wissenschaften können etwas Beweisen

Beweise sind formalen Wissenschaften (Mathematik, Logik) vorenthalten. Wissenschaften, die empirische Methoden nutzen (z.B. Physik, Biologie, Psychologie, Klimaforschung) können nichts beweisen, da immer eine Unsicherheit bestehen bleiben wird (siehe 1.5 oder 5.). Daher besteht das Bestreben in empirischen Wissenschaften darin, sich der Wahrheit so gut wie möglich anzunähern. Dafür werden Theorien aufgestellt (siehe 1.2), welche in Studien überprüft werden.

Mehr dazu:

 

B. Theorie:

Wissenschaftlich geprüfte Theorien sind die beste Methode um empirische Sachverhalte zu beschrieben und erklären

Menschen haben oft „Theorien“ über alltägliche Dinge, die sich zwischen Menschen auch stark unterscheiden können. Sie basieren, mehr oder weniger, auf den eigenen Erfahrungen und sind damit stark fehleranfällig (siehe 6.). Teilweise bezeichnen wir auch reine Gedankenkonstrukte als Theorie. Eine Theorie zu haben klingt also erstmal wenig beeindrucken.

Wissenschaftliche Theorien zeichnen sich allerdings durch systematische Überprüfung aus. Theorien, die sich dabei als falsch oder als prinzipiell nicht überprüfbar herausstellen haben tatsächlich keinen Wert. Können sie nicht widerlegt werden, gelten sie als „wahr“ bis auf weiteres, da wir keine bessere Möglichkeit haben uns der Wahrheit anzunähern. Man spricht dann auch von (gut) belegten oder wissenschaftlich nachgewiesenen Theorien. So eine Theorie ist die beste Möglichkeit die wir als Menschen haben, um empirische Sachverhalte zu beschreiben und erklären.

C. Modelle:

Modelle ermöglichen uns komplexe Sachverhalte zu beschreiben und vorherzusagen

Damit wir die in Natur- und Sozialwissenschaften oftmals sehr komplexen Zusammenhänge mit unseren in der Regel oft begrenzten Ressourcen überhaupt empirisch untersuchen können, brauchen wir Modelle, die die Komplexität auf ein beherrschbares Niveau reduzieren, ohne dass das Modell (also das vereinfachte Abbild) zur Darstellung des Untersuchungsgegenstandes nichts mehr taugt, also den Untersuchungsgegenstand nicht mehr angemessen repräsentieren kann.

Zudem dürfen Modelle in sich nicht widersprüchlich sein. Jede Darstellung des Sonnensystems ist beispielsweise eine solche vereinfachte Abbildung sehr komplexer Zusammenhänge mit für Menschen überwältigend großen Kräfte und Entfernungen.

Klimamodelle sind über die Jahrzehnte immer genauer geworden in der Darstellung der komplexen Klimazusammenhänge auf unserer Welt, insbesondere auch in Abhängigkeit von der Weiterentwicklung unserer Ressourcen, wie zum Beispiel der Rechenkapazitäten von Computersystemen. Auch wenn Modelle immer besser werden, bleibt natürlich, wie bei jeder Vorhersage, eine gewisse Restunsicherheit. Allerdings kann auch diese mathematisch bestimmt werden (siehe 1.5).

Mehr dazu:

 

D. Konsens:

Wissenschaftlichen Konsens erreicht man durch Rationalität, nicht durch Abstimmungen

Im politischen Sinne erreicht man einen Konsens, wenn weitgehende Einigkeit über eine Entscheidung erzielt wird. Darauf fußt unsere Demokratie. In einem rationalen Umfeld wie der Wissenschaft, erscheint es daher als befremdlich, wenn von einem Konsens der Wissenschaftler gesprochen wird. Es mag der Anschein entstehen, dass etwas „ausdiskutiert“ wird, welche Theorie am besten klingt. Sollte aber nicht die Theorie gewinnen, die am besten empirisch unterstützt ist? Natürlich! Politische Debatten gibt es folglich nicht.

Wie entsteht wissenschaftlicher Konsens dann? Er entsteht dadurch, dass eine Theorie oder Frage so gründlich untersucht wurde, dass es keine (wahrscheinlichen / vernünftigen) Alternativerklärungen mehr gibt. Dafür hat sich das Mittel der systematischen Übersichtsarbeiten als äußerst nützlich erwiesen (siehe 3.). Wissenschaftlicher Konsens fußt also auf Rationalität und ist demnach auch keine politische Debatte. Eine Übersicht über den Konsens in der Klimaforschung bietet das Handbuch zum Klimakonsens.

Mehr dazu:

 

E. Unsicherheit:

Jede Vorhersage ist mit Unsicherheit behaftet – die richtige Frage ist „mit wie viel?“

Unsicherheit in der Wissenschaft wird oft so verstanden, dass Wissenschaftler sich über eine Frage noch nicht einig sind und mehr Forschung nötig ist. Dies kann tatsächlich der Fall sein, muss aber nicht. Es gibt nämlich noch eine statistische Unsicherheit. Diese bezeichnet, dass man sich nie wirklich sicher sein kann, ob die Ergebnisse nicht doch zufällig zustande gekommen sind. Dafür wurden jedoch Methoden entwickelt, die das Ausmaß der mathematischen Unsicherheit festhalten. Eine Aussage wie, „mit den aktuellen Theorien / Modellen sind keine zuverlässigen Aussagen möglich“, ist deshalb irreführend. Das gilt streng genommen immer in empirischen Wissenschaften (siehe 1.1). Die bessere Frage ist, wie groß die Unsicherheit bei einer Schätzung ist, zum Beispiel wenn in politischen Umfragen anscheinend sehr genaue Prozentzahlen für die Zustimmung zu politischen Parteien ermittelt werden.

Aufgrund dieser zwei Definitionen sollte man immer aufpassen, was genau über ein Phänomen gesagt wird:

  1. „Wir sind uns noch nicht sicher, ob / dass…“ –> Mehr Forschung ist nötig
  2. „Die Theorie / das Modell sagt nicht sicher vorher, dass…“  –> Diese Aussage ist immer wahr und damit wissenschaftlich wertlos. Interessanter wäre zu wissen, wie hoch die Unsicherheit ist und ob wir darauf politische Entscheidungen basieren wollen.

Mehr dazu:

 

Einen Befund, der nur in einer Studie gefunden werden kann, kann nicht das Gesamtbild einer Forschung erschüttern

Einzelne Studien haben immer nur eine begrenzte Aussagekraft, egal wie sauber methodisch gearbeitet wurde. Man muss das Gesamtbild der Studien beachten bzw. wie sich eine Studie in das Gesamtbild einordnet. Sollte eine methodisch gut gemachte Studie einen überraschenden Befund liefern, weckt das natürliche Interesse in der Forschungsgemeinschaft und es wird versucht werden diesen Befund wieder zu finden. Sollte das gelingen, wird sich auch das Gesamtbild bzw. der Konsens (siehe 1.4) ändern. Falls das aber nicht der Fall ist, wird man eher von einem Zufallsbefund ausgehen.

Allgemein kann man also sagen, dass man in der Wissenschaft zwar neugierig, aber auch vorsichtig und besonnen vorgeht. Heißt, wenn man einen Effekt findet, der bisherige Ergebnisse in Frage stellt versucht man diesen erstmal wiederzufinden, anstatt alles anzuzweifeln. Gelingt es einen Effekt, den man so nicht erwartet hat in mehreren Studien wiederzufinden, wird aber auch die bisherige Forschung nicht als „falsch“ angesehen. Vielmehr wird versucht werden, herauszufinden warum die Studien zu unterschiedlichen Ergebnissen kommen (siehe 3.)

Ein scheinbarer Widerspruch kann bei Beachtung einer zusätzlichen Variablen geklärt werden. Systematische Übersichtsarbeiten sind dabei das beste Mittel.

In der Wissenschaft gibt es verschiedene Arten von Studien, die mehr oder weniger zum Gesamtbild einer Theorie beitragen (siehe 2.). Das aussagekräftigste Mittel, das sich dabei herausgebildet hat, sind systematische Übersichtsarbeiten. Bei diesen werden i.d.R. keine neuen Daten erhoben, sondern alle bisherigen Studien zu einem Thema gesammelt und methodisch bewertet. Anschließend werden die Daten aller Studien zusammengefasst (man spricht hier von einer Meta-Analyse), umso näher an das Gesamtbild eines Forschungstandes heranzukommen.

Im Rahmen einer solchen Analyse wird auch versucht mögliche Widersprüche zu erklären. Dabei wird im Rahmen der Übersichtsarbeit genau angeschaut, welche Variablen in den verschiedenen Studien einbezogen wurden. So kann eine entscheidende Kontrollvariable, die in einer Studie berücksichtigt wurde, in einer anderen jedoch nicht, dazu beitragen, dass Ergebnisse unterschiedlich ausfallen.

So kann zum Beispiel in der Sozialforschung untersucht werden, inwiefern der Zusammenhang zwischen zwei Variablen (zum Beispiel Depressive Symptome und Suizidalität) durch eine dritte Variable verändert wird (bspw. dem Vorhandensein stabiler sozialer Beziehungen). So ließe sich in unserem Beispiel vermuten, dass die Existenz stabiler sozialer Beziehungen den Zusammenhang zwischen depressiven Symptomen und Suizidabsichten verringern könnte, bei Abwesenheit stabiler sozialer Beziehungen könnte der Zusammenhang hingegen stärker ausfallen. Die theoretische Annahme hinter einem solchen Befund wäre, dass soziale Beziehungen ein wichtiger Schutzfaktor für Menschen sind, denen es psychisch nicht so gut geht. Wenn in Studien dieser Faktor nun nicht berücksichtigt wurde, kann es deshalb sein, dass sie je nach Zusammensetzung ihrer Stichproben zu ganz unterschiedlichen Ergebnissen kommen können.

Mehr dazu:

Ein journalistischer Beitrag wird die Aussage einer Studie nie vollkommen akkurat wiedergeben. Deswegen sollte man bei Verweis auf Studien immer die Studie selber und nicht einen Artikel über die Studie benennen. 

Zeitungsartikel oder Blogbeiträge dienen dazu, Interesse für ein Thema zu wecken. Solche Beiträge eignen sich allerdings in der Regel nicht, um damit einer Studie oder Zusammenfassung von Studien zu widersprechen. Warum? An dieser Stelle nur vier Gründe (von vielen):

  1. Ein (journalistischer) Artikel über einen (wissenschaftlichen) Artikel wird immer Sachverhalte vereinfachen, das liegt in der Natur der Sache. Dabei kann es allerdings passieren, dass (oft sicherlich ungewollt) Sachverhalte falsch oder ungenau wiedergegeben werden.
  2. Der Artikel könnte eigene (ungeprüfte) Schlüsse aus der Studie ziehen, lässt aber erstmal vermuten, dass die Studie genau diesen Schluss stützt.
  3. Die angeführte Studie könnte im Zweifel gar nichts mit dem Argument zu tun haben. Dies kann passieren, wenn selektiv Aussagen aus einer Studie aus dem Zusammenhang gerissen werden, um dann das eigene Argument zu stützen.
  4. In der Regel wird in wissenschaftsjournalistischen Beiträgen kaum etwas zur Methodik gesagt, die in wissenschaftlichen Publikationen hingegen immer den entscheidenden Kern einer Untersuchung darstellt. Eine Vergleichbarkeit unterschiedlicher Studien ist jedoch nur möglich, wenn neben dem Vergleich der theoretischen Vorannahmen insbesondere auch die Methodik untersucht wird.

Zu sagen, dass eine Studie etwas beweist, oder nach so einer Studie zu verlangen ist unwissenschaftlich

Sprechen die Ergebnisse für die Theorie, spricht man davon, dass die Theorie von den Ergebnissen gestützt wird. Ein Beweis ist in empirischen Wissenschaften generell unmöglich (siehe 1.1). Man kann sich nie 100% sicher sein, dass es nicht doch noch eine Alternativerklärung für einen Effekt gibt. Man hat sie halt nur noch nicht gefunden. Das Argument „es gibt keine Studie, die beweist, dass…“ ist also irreführend. Wenn ein Gesamtbild von Studien (siehe 2. und 3.) eine Theorie bestätigt, spricht man davon, dass diese „empirisch (gut) belegt“ ist.

Mehr dazu:

Der menschliche Verstand ist fehleranfällig. Um diese Fehler zu umgehen benötigt es empirische Wissenschaften die empirischen Sachverhalten systematische Überprüfungen unterziehen.

Es gibt viele Zusammenhänge, die allgemein bekannt bzw. logisch scheinen, für die es gute empirische Belege gibt. Zum Beispiel, dass Nahrungsaufnahme in der Regel satt und zufrieden macht (doch selbst hier gibt es Ausnahmen, die einer genaueren Untersuchung bedürfen). Andere Zusammenhänge, die lange „allgemein bekannt“ schienen, stellten sich bei näherer Betrachtung hingegen als wissenschaftlich nicht haltbar dar. Zum Beispiel gab es einst die weit verbreitete Annahme, dass die Sonne sich um die Erde dreht. Dass Wasser bei 100°C kocht, ist auch eine verbreitete Annahme. Stimmt aber letztlich bei genauerer wissenschaftlicher Betrachtung nur für Wasserkochen auf Höhe des Meeresspiegels. Je höher gelegen die Kochstelle nämlich ist, desto geringer ist der Luftdruck und desto früher erreicht das Wasser bereits den Siedepunkt.

Neben der Tatsache, dass sich bestimmte Phänomene, wie z.B. das Sieden von Wasser bei unterschiedlichen Temperaturen, schwer im Alltag beobachten lassen, gibt es noch weitere Faktoren die das Argument, dass der „gesunde Menschenverstand“ genügt, um empirische Sachverhalten festzustellen, in Frage stellen.  Neben sog. Heuristiken, also gedanklichen Abkürzungen, erschweren auch gedankliche Verzerrungen die „richtige“ Erfahrung der Welt. Ein eindrückliches Beispiel ist dabei der „Rückschaufehler“ (Englisch: hindsight bias), der dafür sorgt, dass wir nachdem ein Ergebnis feststeht, uns sicher sind, dass dies das einzig logische Ergebnis ist und wir es schon immer wussten, dass es eintreten wird.

Auch Wissenschaftler sind gegen solche Verzerrungen natürlich nicht per se immun. Die systematischen Überprüfungen von empirischen Sachverhalten wie sie in den empirischen Wissenschaften erforderlich ist, sorgt allerdings dafür, dass solche Mechanismen ausgehebelt und auf ein Minimum reduziert werden.

Mehr dazu:

Einen erkennbaren Zusammenhang zwischen zwei Phänomenen bezeichnet man als Korrelation. Aber nur wenn eins auch die nachweisliche Ursache des anderen ist, spricht man von einer Kausalität. Diese Unterscheidung führt immer wieder zu Verwirrungen und Verwechslungen und es lohnt, sie einmal genauer zu betrachten.

Das Problem der Korrelations-Kausalitäts-Falle:

Korrelationen finden sich in unserem Alltag und auch in der Wissenschaft in vielfacher Hinsicht. So hat es zum Beispiel in der Vergangenheit einmal ein Forscherteam gegeben, das feststellen konnte, dass die Anzahl von Störchen mit der gewachsenen Geburtenrate eines Dorfes korrelierte (Stochastik in der Schule 21 (2001) 2, S. 21-23). Ein schönes Zusammentreffen von Ereignissen, aber sicher kein kausaler Zusammenhang.

Anders lief es in der Vergangenheit immer wieder bei pharmakologischen Entdeckungen, bei denen sich die untersuchten Chemikalien, Farbstoffe oder Medikamente unerwartet als hilfreich bei bestimmten Erkrankungen erwiesen. Nachdem Mediziner*innen derartige Zusammenhänge, d.h. Korrelationen einige Male beobachten konnten, fanden aufwändigere Medizinstudien heraus, dass es tatsächlich auch eine Kausalität gibt (z.B. Ansari, P. 2014: Die Therapiegeschichte der Depression und die Einführung der antidepressiven medikamentösen Therapie in der BRD im Zeitraum von 1945-1970. S. 157ff.). Bis heute wird Patient*innen mit diesen ursprünglich für andere Zwecke vorgesehenen chemischen Verbindungen geholfen.

Eine Korrelation kann also durchaus ein Hinweis auf eine Kausalität (siehe Arzneimittelgeschichte) sein, aber sie kann ebenso aus purem Zufall entstanden sein (siehe Störche). Also Vorsicht: Korrelation bedeutet keinesfalls Kausalität.

Wenn wir Korrelation und Kausalität fälschlich gleichsetzen, sind wir in die Korrelations-Kausalitäts-Falle getappt.

Mehr dazu: