Vše

Co hledáte?

Vše
Projekty
Výsledky výzkumu
Subjekty

Rychlé hledání

  • Projekty podpořené TA ČR
  • Významné projekty
  • Projekty s nejvyšší státní podporou
  • Aktuálně běžící projekty

Chytré vyhledávání

  • Takto najdu konkrétní +slovo
  • Takto z výsledků -slovo zcela vynechám
  • “Takto můžu najít celou frázi”

Does a zero inter-rater reliability mean grant peer review is arbitrary?

Identifikátory výsledku

  • Kód výsledku v IS VaVaI

    <a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F21%3A00570045" target="_blank" >RIV/67985807:_____/21:00570045 - isvavai.cz</a>

  • Výsledek na webu

    <a href="http://www.shinyitemanalysis.org/docs/Metascience-2021-IRR.pdf" target="_blank" >http://www.shinyitemanalysis.org/docs/Metascience-2021-IRR.pdf</a>

  • DOI - Digital Object Identifier

Alternativní jazyky

  • Jazyk výsledku

    angličtina

  • Název v původním jazyce

    Does a zero inter-rater reliability mean grant peer review is arbitrary?

  • Popis výsledku v původním jazyce

    ZÁKLADNÍ ÚDAJE: Does a zero inter-rater reliability mean grant peer review is arbitrary? [Metascience 2021. Virtual, 16.09.2021-25.09.2021]. ABSTRAKT: Are grant funding outcomes arbitrary? Those who argue “yes” often cite low inter-rater reliability (IRR) in grant peer review to support their claims. Inspired by a recent study that reported an IRR of zero in the mock peer review of top-quality grant proposals, we use real data from a complete range of submissions to the National Institutes of Health and to the American Institute of Biological Sciences to demonstrate that (1) estimating local IRR from subsets of restricted-quality proposals will likely result in zero estimates under many scenarios and (2) zero estimates of IRR are possible even when the true value is not zero. Zero estimates from range-restricted data should not be interpreted as indicating arbitrariness in peer review because, despite different scoring scales used by the two agencies, when complete ranges of proposals are considered, IRR estimates are above 0.6 which indicates good reviewer agreement.

  • Název v anglickém jazyce

    Does a zero inter-rater reliability mean grant peer review is arbitrary?

  • Popis výsledku anglicky

    ZÁKLADNÍ ÚDAJE: Does a zero inter-rater reliability mean grant peer review is arbitrary? [Metascience 2021. Virtual, 16.09.2021-25.09.2021]. ABSTRAKT: Are grant funding outcomes arbitrary? Those who argue “yes” often cite low inter-rater reliability (IRR) in grant peer review to support their claims. Inspired by a recent study that reported an IRR of zero in the mock peer review of top-quality grant proposals, we use real data from a complete range of submissions to the National Institutes of Health and to the American Institute of Biological Sciences to demonstrate that (1) estimating local IRR from subsets of restricted-quality proposals will likely result in zero estimates under many scenarios and (2) zero estimates of IRR are possible even when the true value is not zero. Zero estimates from range-restricted data should not be interpreted as indicating arbitrariness in peer review because, despite different scoring scales used by the two agencies, when complete ranges of proposals are considered, IRR estimates are above 0.6 which indicates good reviewer agreement.

Klasifikace

  • Druh

    O - Ostatní výsledky

  • CEP obor

  • OECD FORD obor

    10103 - Statistics and probability

Návaznosti výsledku

  • Projekt

    <a href="/cs/project/GA21-03658S" target="_blank" >GA21-03658S: Teoretické základy výpočetní psychometrie</a><br>

  • Návaznosti

    I - Institucionalni podpora na dlouhodoby koncepcni rozvoj vyzkumne organizace

Ostatní

  • Rok uplatnění

    2021

  • Kód důvěrnosti údajů

    S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů