Vše

Co hledáte?

Vše
Projekty
Výsledky výzkumu
Subjekty

Rychlé hledání

  • Projekty podpořené TA ČR
  • Významné projekty
  • Projekty s nejvyšší státní podporou
  • Aktuálně běžící projekty

Chytré vyhledávání

  • Takto najdu konkrétní +slovo
  • Takto z výsledků -slovo zcela vynechám
  • “Takto můžu najít celou frázi”

When Zero May not be Zero: A Cautionary Note on the use of Inter-rater Reliability in Evaluating Grant Peer Review

Identifikátory výsledku

  • Kód výsledku v IS VaVaI

    <a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F21%3A00541889" target="_blank" >RIV/67985807:_____/21:00541889 - isvavai.cz</a>

  • Výsledek na webu

    <a href="http://dx.doi.org/10.1111/rssa.12681" target="_blank" >http://dx.doi.org/10.1111/rssa.12681</a>

  • DOI - Digital Object Identifier

    <a href="http://dx.doi.org/10.1111/rssa.12681" target="_blank" >10.1111/rssa.12681</a>

Alternativní jazyky

  • Jazyk výsledku

    angličtina

  • Název v původním jazyce

    When Zero May not be Zero: A Cautionary Note on the use of Inter-rater Reliability in Evaluating Grant Peer Review

  • Popis výsledku v původním jazyce

    Considerable attention has focused on studying reviewer agreement via inter‐rater reliability (IRR) as a way to assess the quality of the peer review process. Inspired by a recent study that reported an IRR of zero in the mock peer review of top‐quality grant proposals, we use real data from a complete range of submissions to the National Institutes of Health and to the American Institute of Biological Sciences to bring awareness to two important issues with using IRR for assessing peer review quality. First, we demonstrate that estimating local IRR from subsets of restricted‐quality proposals will likely result in zero estimates under many scenarios. In both data sets, we find that zero local IRR estimates are more likely when subsets of top‐quality proposals rather than bottom‐quality proposals are considered. However, zero estimates from range‐restricted data should not be interpreted as indicating arbitrariness in peer review. On the contrary, despite different scoring scales used by the two agencies, when complete ranges of proposals are considered, IRR estimates are above 0.6 which indicates good reviewer agreement. Furthermore, we demonstrate that, with a small number of reviewers per proposal, zero estimates of IRR are possible even when the true value is not zero.

  • Název v anglickém jazyce

    When Zero May not be Zero: A Cautionary Note on the use of Inter-rater Reliability in Evaluating Grant Peer Review

  • Popis výsledku anglicky

    Considerable attention has focused on studying reviewer agreement via inter‐rater reliability (IRR) as a way to assess the quality of the peer review process. Inspired by a recent study that reported an IRR of zero in the mock peer review of top‐quality grant proposals, we use real data from a complete range of submissions to the National Institutes of Health and to the American Institute of Biological Sciences to bring awareness to two important issues with using IRR for assessing peer review quality. First, we demonstrate that estimating local IRR from subsets of restricted‐quality proposals will likely result in zero estimates under many scenarios. In both data sets, we find that zero local IRR estimates are more likely when subsets of top‐quality proposals rather than bottom‐quality proposals are considered. However, zero estimates from range‐restricted data should not be interpreted as indicating arbitrariness in peer review. On the contrary, despite different scoring scales used by the two agencies, when complete ranges of proposals are considered, IRR estimates are above 0.6 which indicates good reviewer agreement. Furthermore, we demonstrate that, with a small number of reviewers per proposal, zero estimates of IRR are possible even when the true value is not zero.

Klasifikace

  • Druh

    J<sub>imp</sub> - Článek v periodiku v databázi Web of Science

  • CEP obor

  • OECD FORD obor

    10103 - Statistics and probability

Návaznosti výsledku

  • Projekt

    <a href="/cs/project/GA21-03658S" target="_blank" >GA21-03658S: Teoretické základy výpočetní psychometrie</a><br>

  • Návaznosti

    I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Ostatní

  • Rok uplatnění

    2021

  • Kód důvěrnosti údajů

    S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů

Údaje specifické pro druh výsledku

  • Název periodika

    Journal of the Royal Statistical Society Series A-Statistics in Society

  • ISSN

    0964-1998

  • e-ISSN

    1467-985X

  • Svazek periodika

    184

  • Číslo periodika v rámci svazku

    3

  • Stát vydavatele periodika

    US - Spojené státy americké

  • Počet stran výsledku

    16

  • Strana od-do

    904-919

  • Kód UT WoS článku

    000641375900001

  • EID výsledku v databázi Scopus

    2-s2.0-85104530726