Souhrnná výzkumná zpráva - Hodnocení kvality práce oponentů a hodnotících kritérií
The result's identifiers
Result code in IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F07816847%3A_____%2F23%3AN0000001" target="_blank" >RIV/07816847:_____/23:N0000001 - isvavai.cz</a>
Result on the web
—
DOI - Digital Object Identifier
—
Alternative languages
Result language
angličtina
Original language name
Souhrnná výzkumná zpráva - Hodnocení kvality práce oponentů a hodnotících kritérií
Original language description
Souhrnná výzkumná zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení.
Czech name
—
Czech description
—
Classification
Type
O - Miscellaneous
CEP classification
—
OECD FORD branch
50202 - Applied Economics, Econometrics
Result continuities
Project
<a href="/en/project/TITDTACR138MT01" target="_blank" >TITDTACR138MT01: Statistical and data mining analyses of expert's evaluation of projects</a><br>
Continuities
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Others
Publication year
2023
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů