Spurious Precision in Meta-Analysis of Social Science Research (METASPUR)
Project goals
I argue that the meta-analysis methodology used in observational research entails a bias, one that stems from a reliance on reported precision which often exaggerates real precision. I will show that, when applied to all meta-analysis contexts, a method inspired by instrumental variables used in economics corrects for the bias. In meta-analysis, studies reporting more precision get more weight. Yet more than 20,000 meta-analyses have been conducted in social sciences, mostly synthesizing observational research, where researchers have control over the precision measure they report. Hence, reported precision is endogenous. I challenge the assumption that observational studies reporting more precision are more informative and less biased. While I focus on social sciences, the results will apply to the 100,000+ meta-analyses in other fields that have also relied on observational research. Spurious precision has dramatic consequences not only for meta-analysis methodology and structural models calibrated using meta-analyses but also for the entire practice of evidence-based policy. .
Keywords
Meta-analysismeta-regression analysismeta-studypublication biasselective reportingp-hackingstatistical significancefunnel plotinverse-variance weightingweighted least squaresMonte Carlo simulationsevidence-based policy
Public support
Provider
Czech Science Foundation
Programme
—
Call for proposals
SGA0202300003
Main participants
Univerzita Karlova / Fakulta sociálních věd
Contest type
VS - Public tender
Contract ID
23-05227M
Alternative language
Project name in Czech
Zdánlivá přesnost v meta-analýze společenskovědního výzkumu (METASPUR)
Annotation in Czech
Ukazuji, že současná metodologie meta-analýzy aplikovaná mimo experimentální výzkum obsahuje zkreslení pramenící z použití nominální přesnosti, která je často nadhodnocená. Dokáži, že metoda inspirovaná instrumentálními proměnnými používanými v ekonomii a aplikovaná ve všech kontextech meta-analýzy toto zkreslení opraví. V meta-analýze dostávají větší váhu nominálně přesnější studie. Nicméně více než 20 000 meta-analýz bylo provedeno ve společenských vědách, kde se meta-analýzy převážně nezaměřují na experimentální výsledky, a v primárních studiích tak mají autoři kontrolu nad měřítky přesnosti. Reportovaná přesnost je tedy endogenní. Zpochybňuji předpoklad, že studie vykazující větší přesnost jsou více informativní a méně vychýlené. Ač se soustředím na společenské vědy, výsledky budou relevantní pro více než 100 000 meta-analýz v dalších oblastech, které se také zaměřují na jiný než experimentální výzkum. Zdálnivá přesnost má dramatické důsledky nejen pro meta-analýzu a strukturální modely na jejím základě kalibrované, ale také pro celkovou praxi politiky založené na faktech. .
Scientific branches
R&D category
ZV - Basic research
OECD FORD - main branch
50101 - Psychology (including human - machine relations)
OECD FORD - secondary branch
50202 - Applied Economics, Econometrics
OECD FORD - another secondary branch
50902 - Social sciences, interdisciplinary
AH - Economics
AN - Psychology
GA - Agricultural economics
Solution timeline
Realization period - beginning
Jan 1, 2023
Realization period - end
Dec 31, 2027
Project status
B - Running multi-year project
Latest support payment
Apr 9, 2024
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP25-GA0-GM-R
Data delivery date
Feb 21, 2025
Finance
Total approved costs
24,868 thou. CZK
Public financial support
24,868 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Recognised costs
24 868 CZK thou.
Public support
24 868 CZK thou.
0%
Provider
Czech Science Foundation
OECD FORD
Psychology (including human - machine relations)
Solution period
01. 01. 2023 - 31. 12. 2027