Vše

Co hledáte?

Vše
Projekty
Výsledky výzkumu
Subjekty

Rychlé hledání

  • Projekty podpořené TA ČR
  • Významné projekty
  • Projekty s nejvyšší státní podporou
  • Aktuálně běžící projekty

Chytré vyhledávání

  • Takto najdu konkrétní +slovo
  • Takto z výsledků -slovo zcela vynechám
  • “Takto můžu najít celou frázi”

Model-Based Reliability to Check for Disparities in Ratings of Internal and External Applicants

Identifikátory výsledku

  • Kód výsledku v IS VaVaI

    <a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F67985807%3A_____%2F18%3A00493164" target="_blank" >RIV/67985807:_____/18:00493164 - isvavai.cz</a>

  • Výsledek na webu

  • DOI - Digital Object Identifier

Alternativní jazyky

  • Jazyk výsledku

    angličtina

  • Název v původním jazyce

    Model-Based Reliability to Check for Disparities in Ratings of Internal and External Applicants

  • Popis výsledku v původním jazyce

    ZÁKLADNÍ ÚDAJE: Abstractband. VIII. European Congress on Methodology. Abstract Book. Jena: Institut für Psychologie, Friedrich-Schiller-Universität, 2018. s. 102-102. 2018 European Congress on Methodology /8./. 25.07.2018-27.07.2018, Jena. Grant CEP: GA ČR GJ15-15856Y. ABSTRAKT: In this work we address disparities in ratings of internal and external applicants. We develop model-based inter-rater reliability (IRR) estimate to account for various sources of measurement error, their hierarchical structure and the presence of covariates, such as assessed status, that have the potential to moderate IRR. Using dataset of ratings of applicants to teaching positions in Spokane district in Washington, USA, we first test for bias in ratings of applicants external to the district, which is shown to be significant even after including various measures of teacher quality in the model. Moreover, withmodel-based IRR, we show that consistency between raters is significantly lower when rating external applicants. We further address how IRR affects the predictive power of measurement in different scenarios and conclude the work by discussing policy implications and applications of our model-based IRR estimate for teacher hiring practices.

  • Název v anglickém jazyce

    Model-Based Reliability to Check for Disparities in Ratings of Internal and External Applicants

  • Popis výsledku anglicky

    ZÁKLADNÍ ÚDAJE: Abstractband. VIII. European Congress on Methodology. Abstract Book. Jena: Institut für Psychologie, Friedrich-Schiller-Universität, 2018. s. 102-102. 2018 European Congress on Methodology /8./. 25.07.2018-27.07.2018, Jena. Grant CEP: GA ČR GJ15-15856Y. ABSTRAKT: In this work we address disparities in ratings of internal and external applicants. We develop model-based inter-rater reliability (IRR) estimate to account for various sources of measurement error, their hierarchical structure and the presence of covariates, such as assessed status, that have the potential to moderate IRR. Using dataset of ratings of applicants to teaching positions in Spokane district in Washington, USA, we first test for bias in ratings of applicants external to the district, which is shown to be significant even after including various measures of teacher quality in the model. Moreover, withmodel-based IRR, we show that consistency between raters is significantly lower when rating external applicants. We further address how IRR affects the predictive power of measurement in different scenarios and conclude the work by discussing policy implications and applications of our model-based IRR estimate for teacher hiring practices.

Klasifikace

  • Druh

    O - Ostatní výsledky

  • CEP obor

  • OECD FORD obor

    10103 - Statistics and probability

Návaznosti výsledku

  • Projekt

    <a href="/cs/project/GJ15-15856Y" target="_blank" >GJ15-15856Y: Odhad psychometrických vlastností jako součást vývoje přijímacích testů</a><br>

  • Návaznosti

    P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)

Ostatní

  • Rok uplatnění

    2018

  • Kód důvěrnosti údajů

    S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů