Testing Heterogeneity in Inter-Rater Reliability

Kód výsledku v IS VaVaI

<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F20%3A00531172" target="_blank" >RIV/67985807:_____/20:00531172 - isvavai.cz</a>

Nalezeny alternativní kódy

RIV/00216208:11210/20:10416702 RIV/00216208:11410/20:10416702

Výsledek na webu

<a href="http://dx.doi.org/10.1007/978-3-030-43469-4_26" target="_blank" >http://dx.doi.org/10.1007/978-3-030-43469-4_26</a>

DOI - Digital Object Identifier

<a href="http://dx.doi.org/10.1007/978-3-030-43469-4_26" target="_blank" >10.1007/978-3-030-43469-4_26</a>

Jazyk výsledku

angličtina

Název v původním jazyce

Testing Heterogeneity in Inter-Rater Reliability

Popis výsledku v původním jazyce

Estimating the inter-rater reliability (IRR) is important for assessing and improving the quality of ratings. In some cases, the IRR may differ between groups due to their features. To test heterogeneity in IRR, the second-order generalized estimating equations (GEE2) and linear mixed-effects models (LME) were already used. Another method capable of estimating the components for IRR is generalized additive models (GAM). This paper presents a simulation study evaluating the performance of these methods in estimating variance components and in testing heterogeneity in IRR. We consider a wide range of sample sizes and various scenarios leading to heterogenous IRR. The results show, that while the LME and GAM models perform similarly and yield reliable estimates, the GEE2 models may lead to incorrect results.

Název v anglickém jazyce

Testing Heterogeneity in Inter-Rater Reliability

Popis výsledku anglicky

Estimating the inter-rater reliability (IRR) is important for assessing and improving the quality of ratings. In some cases, the IRR may differ between groups due to their features. To test heterogeneity in IRR, the second-order generalized estimating equations (GEE2) and linear mixed-effects models (LME) were already used. Another method capable of estimating the components for IRR is generalized additive models (GAM). This paper presents a simulation study evaluating the performance of these methods in estimating variance components and in testing heterogeneity in IRR. We consider a wide range of sample sizes and various scenarios leading to heterogenous IRR. The results show, that while the LME and GAM models perform similarly and yield reliable estimates, the GEE2 models may lead to incorrect results.

Druh

D - Stať ve sborníku

CEP obor

—

OECD FORD obor

10103 - Statistics and probability

Projekt

—

Návaznosti

I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Rok uplatnění

2020

Kód důvěrnosti údajů

S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Název statě ve sborníku

Quantitative Psychology

ISBN

978-3-030-43468-7

ISSN

2194-1009

e-ISSN

—

Počet stran výsledku

18

Strana od-do

347-364

Název nakladatele

Springer

Místo vydání

Cham

Místo konání akce

Santiago

Datum konání akce

15. 7. 2019

Typ akce podle státní příslušnosti

WRD - Celosvětová akce

Kód UT WoS článku

—