Zdánlivá přesnost v meta-analýze společenskovědního výzkumu (METASPUR)
Cíle projektu
Ukazuji, že současná metodologie meta-analýzy aplikovaná mimo experimentální výzkum obsahuje zkreslení pramenící z použití nominální přesnosti, která je často nadhodnocená. Dokáži, že metoda inspirovaná instrumentálními proměnnými používanými v ekonomii a aplikovaná ve všech kontextech meta-analýzy toto zkreslení opraví. V meta-analýze dostávají větší váhu nominálně přesnější studie. Nicméně více než 20 000 meta-analýz bylo provedeno ve společenských vědách, kde se meta-analýzy převážně nezaměřují na experimentální výsledky, a v primárních studiích tak mají autoři kontrolu nad měřítky přesnosti. Reportovaná přesnost je tedy endogenní. Zpochybňuji předpoklad, že studie vykazující větší přesnost jsou více informativní a méně vychýlené. Ač se soustředím na společenské vědy, výsledky budou relevantní pro více než 100 000 meta-analýz v dalších oblastech, které se také zaměřují na jiný než experimentální výzkum. Zdálnivá přesnost má dramatické důsledky nejen pro meta-analýzu a strukturální modely na jejím základě kalibrované, ale také pro celkovou praxi politiky založené na faktech. .
Klíčová slova
Meta-analysismeta-regression analysismeta-studypublication biasselective reportingp-hackingstatistical significancefunnel plotinverse-variance weightingweighted least squaresMonte Carlo simulationsevidence-based policy
Veřejná podpora
Poskytovatel
Grantová agentura České republiky
Program
JUNIOR STAR
Veřejná soutěž
SGA0202300003
Hlavní účastníci
Univerzita Karlova / Fakulta sociálních věd
Druh soutěže
VS - Veřejná soutěž
Číslo smlouvy
23-05227M
Alternativní jazyk
Název projektu anglicky
Spurious Precision in Meta-Analysis of Social Science Research (METASPUR)
Anotace anglicky
I argue that the meta-analysis methodology used in observational research entails a bias, one that stems from a reliance on reported precision which often exaggerates real precision. I will show that, when applied to all meta-analysis contexts, a method inspired by instrumental variables used in economics corrects for the bias. In meta-analysis, studies reporting more precision get more weight. Yet more than 20,000 meta-analyses have been conducted in social sciences, mostly synthesizing observational research, where researchers have control over the precision measure they report. Hence, reported precision is endogenous. I challenge the assumption that observational studies reporting more precision are more informative and less biased. While I focus on social sciences, the results will apply to the 100,000+ meta-analyses in other fields that have also relied on observational research. Spurious precision has dramatic consequences not only for meta-analysis methodology and structural models calibrated using meta-analyses but also for the entire practice of evidence-based policy. .
Vědní obory
Kategorie VaV
ZV - Základní výzkum
OECD FORD - hlavní obor
50101 - Psychology (including human - machine relations)
OECD FORD - vedlejší obor
50202 - Applied Economics, Econometrics
OECD FORD - další vedlejší obor
50902 - Social sciences, interdisciplinary
CEP - odpovídající obory
(dle převodníku)AH - Ekonomie
AN - Psychologie
GA - Zemědělská ekonomie
Termíny řešení
Zahájení řešení
1. 1. 2023
Ukončení řešení
31. 12. 2027
Poslední stav řešení
B - Běžící víceletý projekt
Poslední uvolnění podpory
9. 4. 2024
Dodání dat do CEP
Důvěrnost údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Systémové označení dodávky dat
CEP25-GA0-GM-R
Datum dodání záznamu
21. 2. 2025
Finance
Celkové uznané náklady
24 868 tis. Kč
Výše podpory ze státního rozpočtu
24 868 tis. Kč
Ostatní veřejné zdroje financování
0 tis. Kč
Neveřejné tuz. a zahr. zdroje finan.
0 tis. Kč
Základní informace
Uznané náklady
24 868 tis. Kč
Statní podpora
24 868 tis. Kč
100%
Poskytovatel
Grantová agentura České republiky
OECD FORD
Psychology (including human - machine relations)
Doba řešení
01. 01. 2023 - 31. 12. 2027