Exploring new avenues for the meta-analysis method in personality and social psychology research

Abstract

This dissertation addresses theoretical validity and bias in meta-analytic research in personality and social psychology research. The conceptual starting point of the dissertation is research on ego depletion (Baumeister et al., 1998). In this line of research, hundreds of studies documented an experimental effect that probably does not exist, as was later revealed by extensive replication work (Hagger et al., 2010, 2016). This debacle has presumably been caused by dysfunctional structures and procedures in psychological science, such as widespread publication bias (Carter & McCullough, 2014). Unfortunately, these dysfunctionalities were (and in some cases still are) also prevalent in other areas of psychological research beside ego depletion (Ferguson & Brannick, 2012; Open Science Collaboration, 2015). Because extensive replication research is too costly to be repeated for all past work, it has been a contentious question what to do with research data that has been generated during an era of questionable research practices: should this research be abandoned or can some of it be salvaged? In four research papers, this dissertation project attempts to address these questions. In part I of the dissertation project, two papers highlight and analyze challenges when summarizing past research in social psychology and personality research. Paper 1 (Friese et al., 2017) attempted to find summary evidence for the effectiveness of self-control training, a research field related to ego depletion, but came to a sobering conclusion: The summary effect was small, likely inflated by publication bias, and could not be attributed beyond doubt to a theoretical mechanism. Paper 2 (Friese & Frankenbach, 2020) reported on a simulation study that showed how multiple sources of bias (publication bias, p-hacking) can interact with contextual factors and each other to create significant meta-analytic evidence from very small or even zero true effects. Part II of the dissertation project is an attempt to advance social-psychological and personality theory with meta-scientific work despite an unknowable risk of bias in the literature. In part II, two papers (Frankenbach et al., 2020, 2022) make use of one key idea: Re-using existing raw research data to test novel theoretical ideas in secondary (meta-)analyses. Results revealed that this idea helps towards both goals of the dissertation project, that is, advancing theory while reducing risk-of-bias. The general discussion analyses promises and limitations of such secondary data analyses in more detail and attempts to situate the idea more broadly in the psychological research toolkit by contrasting integrative versus innovative research. Further discussion covers how conceptual and technological innovations may facilitate more secondary data analyses in the future, and how such advances may pave the way for a slower, more incremental, but truly valid and cumulative psychological science.

Die vorliegende Dissertation behandelt theoretischen Validität und Verzerrung (Bias) von meta-analytischer Forschung in der Persönlichkeits- und Sozialpsychologie. Der konzeptuelle Ausgangspunkt der Dissertation ist die Forschung zu „Ego Depletion“ (Baumeister et al., 1998). In dieser Forschungslinie haben hunderte von Studien einen Effekt belegt, der, wie sich später durch umfangreiche Replikationsarbeiten (Hagger et al., 2010, 2016) herausstellte, vermutlich nicht existiert. Dieses Debakel wurde mutmaßlich mitverursacht durch dysfunktionale Strukturen und Prozesse in der psychologischen Forschung, insbesondere Publikationsbias („publication bias“). Unglücklicherweise lagen (und liegen) diese Dysfunktionalitäten neben Ego Depletion auch in anderen psychologischen Forschungsbereichen vor (Ferguson & Brannick, 2012; Open Science Collaboration, 2015). Da aus Kostengründen nicht alle Forschungsarbeiten der Vergangenheit repliziert werden können, ergibt sich eine kritische Frage: Wie soll mit psychologischer Forschung umgegangen werden, die unter mutmaßlich verzerrenden Bedingungen generiert wurde? Sollte diese Forschung ad acta gelegt werden oder können Teile davon weiterverwendet werden? Das vorliegende Dissertationsprojekt versucht im Rahmen von vier Forschungsbeiträgen sich diesen Fragen anzunähern. Im ersten Teil der Dissertation beleuchten und analysieren zwei Forschungsbeiträge Probleme und Herausforderungen, die sich bei der Zusammenfassung von bestehender Forschung der Sozial- und Persönlichkeitspsychologie ergeben. Der erste Beitrag (Friese et al., 2017) versucht in einer Meta-Analyse Evidenz für die Wirksamkeit von Selbstkontrolltrainings zu finden, aber kommt zu einem ernüchternden Ergebnis: Die Gesamteffekte sind klein, mutmaßlich durch Publikationsbias fälschlich überhöht und können überdies nicht zweifelsfrei einem theoretischen Kausalmechanismus zugeordnet werden. Der zweite Beitrag (Friese & Frankenbach, 2020) umfasst eine Simulationsstudie, die aufzeigt, wie verschiedene Formen von Bias (Publikationsbias und sog. „p-hacking“) miteinander und mit Kontextfaktoren interagieren können, wodurch signifikante, meta-analytische Effekte aus sehr kleinen wahren Effekten oder sogar Nulleffekten entstehen können. Der zweite Teil der Dissertation versucht, trotz eines unbestimmbaren Bias-Risikos, Fortschritte in der sozial- und persönlichkeitspsychologischen Theorie zu erzielen. Zu diesem Zweck wird in zwei Forschungsbeiträgen (Frankenbach et al., 2020, 2022) auf eine Schlüssel-Idee zurückgegriffen: Die Testung von neuen theoretischen Hypothesen unter Wiederverwendung von existierenden Forschungsdaten in Sekundärdatenanalysen. Die Ergebnisse zeigen, dass dieser Ansatz tatsächlich dazu beitragen kann, theoretische Fortschritte mit vermindertem Verzerrungsrisiko zu machen. Die anschließende, übergreifende Diskussion behandelt Möglichkeiten und Limitationen solcher Sekundärdatenanalysen und versucht, den Ansatz in einer Gegenüberstellung von integrativer und innovativer Forschung übergreifender in die psychologische Forschungsmethodik einzuordnen. Im Weiteren wird diskutiert, wie konzeptuelle und technologische Entwicklungen in der Zukunft Sekundärdatenanalysen erleichtern könnten und wie solche Fortschritte den Weg ebnen könnten für eine langsamere, inkrementelle, aber wahrhaft valide und kumulative psychologische Wissenschaft.