Fachgruppe Sozialpsychologie. Task Force “Qualitätssicherung sozialpsychologischer Forschung” der Fachgruppe Sozialpsychologie. Das Zusammenspiel von Theorie und Methodik

Fachgruppe Sozialpsychologie

Task Force “Qualitätssicherung sozialpsychologischer Forschung” der Fachgruppe Sozialpsychologie

Das Zusammenspiel von Theorie und Methodik

Das Positionspapier von Brachem et al. (2022) gibt einen Überblick über die Prävalenz fragwürdiger Praktiken (questionable research practices; QRPs) in studentischen Forschungsarbeiten. Wir begrüßen, dass sich Studierende mit dieser Thematik unter Nutzung angemessener empirischer Methoden differenziert auseinandersetzen sowie die Prävalenz von QRPs auch bei studentischen Forschungsarbeiten eindämmen wollen. Wir unterstützen auch den Großteil der Empfehlungen, möchten aber anregen neben der Methodik auch einen stärkeren Fokus auf die Entwicklung belastbarer Theorien zu legen.

Wir werden unser Anliegen anhand von zwei der Empfehlungen näher erläutern. Nach der zweiten Empfehlung sollen Grundlagen- und Anwendungsfächer Lehrmaterialien zu Theorien überarbeiten, sobald deren Replizierbarkeit fraglich scheint. Die mangelnde Replizierbarkeit einzelner empirischer Beobachtungen soll direkt zu einer Revision von Theorien führen. Nach der vierten Empfehlung soll in der Lehre die Unterscheidung von explorativer Erkundung und konfirmatorischer Testung von Theorien nachhaltig verständlich gemacht werden. Die Exploration empirischer Befunde soll auch wieder direkt die Bildung fundierter Theorien ermöglichen. Beide Empfehlungen legen eine unmittelbare Beziehung zwischen einer korrekten Methodik, der Validität der damit produzierten empirischen Beobachtungen und der Qualität der darauf aufbauenden Theorien nahe. Dieser unmittelbaren Beziehung stimmen wir nicht zu. Entsprechend schlagen wir vor, in der Lehre zwischen Theorieentwicklung und Methodik zu unterscheiden.

Ob und wie Theorieentwicklung und Methodik zusammenhängen, darin unterscheiden sich verschiedene wissenschaftstheoretische Ansätze. Nach einem Ansatz können beispielsweise Experimente durchgeführt werden, um kritische Eigenschaften von Theorien zu testen oder Theorien vergleichend zu testen (Platt, 1964; Popper, 1934; siehe auch Glöckner & Betsch, 2011; Leising et al., in press). Dabei wird in der Regel ein direkter Zusammenhang zwischen Theorien und empirischen Beobachtungen angenommen, wie ihn auch die Autorinnen und Autoren des Positionspapiers implizit annehmen.

In der Forschungspraxis kommt oft ein anderer Ansatz zum Einsatz, bei dem empirische Beobachtungen und Theorien nur in einem indirekten Zusammenhang stehen (bspw. Bogen & Woodward, 1988; Haig, 2005). Empirische Beobachtungen stützen oder widerlegen Phänomene. Bei Phänomenen handelt es sich, vereinfacht gesagt, um empirische Regularitäten, die in vielen Studien mit unterschiedlichen Methoden Bestätigung finden. Theorien müssen dann ihrerseits Phänomene erklären. Beispielsweise können Fehlerraten in einem Experiment, in dem Versuchspersonen sich an präsentierte Wörter erinnern sollen (empirische Beobachtungen), den Recency-Effekt (Phänomen) bestätigen, der dann von einer Theorie des Gedächtnisses erklärt wird. Anders gesagt, Phänomene, und oft nicht die ihnen zugrundeliegenden empirischen Beobachtungen, begrenzen den Erklärungsrahmen von Theorien (Eronen & Bringmann, 2021). Kann eine Theorie etablierte Phänomene nicht erklären, sinkt ihr Wert. Starke Theorien zeichnen sich in diesem wissenschaftstheoretischen Ansatz dadurch aus, dass sie möglichst viele, wenn nicht alle Phänomene eines Beobachtungsbereiches erklären.

Wissen darüber, dass empirische Beobachtungen unter Verwendung von QRPs entstanden sind, sagt also nicht notwendigerweise etwas über die zugrundeliegende Theorie aus. Sind bestimmte empirische Beobachtungen methodisch fragwürdig zustande gekommen, stellt das zunächst oft nur die Existenz der Phänomene in Frage, die durch die empirischen Beobachtungen gestützt wurden. Die Abwesenheit von Evidenz bedroht eine Theorie zunächst nicht. Die Evaluation von Theorien erfolgt nach anderen Kriterien. Das kann bspw. der Schluss auf die beste Erklärung sein (Haig, 2009); oder, in dem wissenschaftstheoretischen Ansatz in der Tradition von Popper, der Grad der empirischen Bewährung einer Theorie (d. h. wie viele kritische Testungen die Theorie überstanden hat) sowie der empirische Gehalt der Theorie, welcher durch deren Allgemeinheit (d. h. für wie viele Situationen die Theorie Vorhersagen erlaubt) und Bestimmtheit (d. h. der Präzision der Vorhersagen) determiniert wird (Glöckner & Betsch, 2011; Popper, 1934).

Natürlich ist es möglich, dass es an einer kritischen Masse robuster Phänomene mangelt, welche wiederum durch die Theorie erklärt werden sollen. Damit wäre auch in einem an Phänomenen orientierten wissenschaftstheoretischen Ansatz die Theorie obsolet. Nichtsdestotrotz ist es notwendig, zwischen der Methodik hinter den empirischen Beobachtungen und der Theorie zu trennen. Dabei sind zwei Fälle zu unterscheiden. Zunächst kann es sein, dass durch eine mangelhafte Methodik keine Aussage über einen Effekt bzw. ein Phänomen gemacht werden kann. In diesem Fall könnte eine Theorie beibehalten und in der Lehre weiter berücksichtigt werden, wenn sie spannende und prüfbare Vorhersagen macht oder noch andere Phänomene erklärt (bspw. Theorien zur Erklärung von ego depletion, Friese et al., 2019). Davon abzugrenzen ist der Fall, in dem Null-, praktisch irrelevante oder gar gegenläufige Effekte nachgewiesen wurden (bspw. Unconscious Thought Theory, Huizenga et al., 2012). In diesem Fall sollten Theorien in der Tat – wie von Brachem et al. (2022) vorgeschlagen – aus dem Lehrkanon entfernt bzw. entsprechend kritisch präsentiert werden.

Die Unterscheidung zwischen Theorien und Phänomenen wird aus unserer Sicht in der universitären Lehre und der wissenschaftlichen Psychologie im Allgemeinen zu wenig und kaum systematisch getroffen. Wir schlagen daher vor, die Empfehlungen für die Lehre zu ergänzen. Erstens, Grundlagen- und Anwendungsfächer sollen Lehrmaterialien zu Studien überarbeiten, deren Replizierbarkeit fraglich ist. Theorien bleiben dabei in vielen Fällen zunächst unberührt und verlangen eine separate Evaluation, solange sie nicht obsolet oder durch substanzielle Nulleffekte in zentralen Vorhersagen widerlegt sind. Zweitens schlagen wir vor, die vierte Empfehlung dahingehend zu erweitern, dass Lehre zu Themen der Wissenschaftstheorie und Theoriebildung verstärkt Einzug in das Studium findet (für verschiedene aktuelle Ansätze siehe Borsboom et al., 2021; Glöckner & Betsch, 2011; Leising et al., in press; Van Rooij & Blokpoel, 2020; West et al., 2019). Die Replikationskrise ist auch eine Krise der Theoriebildung; präzise, idealerweise komputationale oder mathematisch formalisierte Theorien und Modelle ermöglichen die Ableitung konkreter Hypothesen, welche die Anwendung einiger QRPs in konkreten Studien (bspw. HARKing) zumindest erschweren (bspw. Leising et al., in press; Oberauer & Lewandowsky, 2019; Smaldino, 2017).

Abschließend möchten wir die dritte und die sechste Empfehlung des Positionspapiers für die Lehre besonders hervorheben: positive Forschungspraktiken vermitteln, Bewusstsein für Eigenverantwortung schaffen und Studierende zu Mitwirkenden an einer offenen und kooperativen wissenschaftlichen Kultur ausbilden. Genau das sollten wir tun. Jedoch wollen wir im Rahmen der Lehre nicht nur erreichen, dass offene, transparente und replizierbare Forschung für Studierende selbstverständlich ist, sondern auch dass Studierende das eigentliche Ziel von Forschung – verlässliches Wissen zu generieren und spezifische Theorien durch aussagekräftige Studien weiterzuentwickeln – mit vergleichbarem Elan anstreben.