Souhrnná výzkumná zpráva - Hodnocení kvality práce oponentů a hodnotících kritérií
Identifikátory výsledku
Kód výsledku v IS VaVaI
<a href="https://www.isvavai.cz/riv?ss=detail&h=RIV%2F07816847%3A_____%2F23%3AN0000001" target="_blank" >RIV/07816847:_____/23:N0000001 - isvavai.cz</a>
Výsledek na webu
—
DOI - Digital Object Identifier
—
Alternativní jazyky
Jazyk výsledku
angličtina
Název v původním jazyce
Souhrnná výzkumná zpráva - Hodnocení kvality práce oponentů a hodnotících kritérií
Popis výsledku v původním jazyce
Souhrnná výzkumná zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení.
Název v anglickém jazyce
Souhrnná výzkumná zpráva - Hodnocení kvality práce oponentů a hodnotících kritérií
Popis výsledku anglicky
Souhrnná výzkumná zpráva představuje výsledky analýz oponentního procesu veřejných soutěží Technologické agentury ČR od prosince 2017 do února 2023. Data o oponentech a posudcích, které tito vypracovali, byla analyzována deskriptivními i exploračními statistickými metodami, psychometrickými analýzami i strojovým zpracováním jazyka (NLP). Projekt kvantifikoval pro zkoumané veřejné soutěže (VS) nereliabilitu jejich oponentního procesu a identifikoval její hlavní zdroje. Na úrovni individuálních kritérií zkoumal schopnost jednotlivých kritérií rozlišovat “dobré”1 projekty a míru, do které se v nich oponenti shodují. V rámci NLP byl ověřován soulad bodového a textového hodnocení a analyzován vliv sentimentu hodnocení na udělené skóre. Závěrem byly také provedeny analýzy pro ověření existence biasů v oponentním hodnocení.
Klasifikace
Druh
O - Ostatní výsledky
CEP obor
—
OECD FORD obor
50202 - Applied Economics, Econometrics
Návaznosti výsledku
Projekt
<a href="/cs/project/TITDTACR138MT01" target="_blank" >TITDTACR138MT01: Statistické a data miningové analýzy hodnocení projektů oponenty</a><br>
Návaznosti
P - Projekt vyzkumu a vyvoje financovany z verejnych zdroju (s odkazem do CEP)
Ostatní
Rok uplatnění
2023
Kód důvěrnosti údajů
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů