Estimation of psychometric measures as part of admission test development
Project goals
Project aims to describe the current status of admission process to Czech colleges and universities and to prepare a methodology for development of standardized admission tests. Project covers the whole cycle of test development – from defining objectives, blueprinting, item writing, reviewing and pretesting, to assembling the test and its validation. Special attention is given to psychometric tools needed for student scoring, item calibration, detection of improper items, estimation of reliability and validity in complex design and student scoring and item selection in automatized adaptive testing. Theoretical results are implemented and demonstrated on real data from admission test to a medical school.
Keywords
admission testsitem development, reliabilityvalidityfairnessitem analysis, standardized tests, computerized adaptive testing
Public support
Provider
Czech Science Foundation
Programme
Junior Grants
Call for proposals
Juniorské granty 1 (SGA0201500002)
Main participants
Ústav informatiky AV ČR, v. v. i.
Contest type
VS - Public tender
Contract ID
15-15856Y
Alternative language
Project name in Czech
Odhad psychometrických vlastností jako součást vývoje přijímacích testů
Annotation in Czech
Podstatou projektu je popsat současný stav přijímacích řízení na české vysoké školy a připravit metodologii pro vývoj standardizovaných přijímacích testů. Projekt pokrývá celý cyklus vývoje testů – od stanovení cílů, návrhu testu, psaní, oponování a pretestování položek, až po zadání testu a jeho následnou validizaci. Zvláštní pozornost je věnována moderním psychometrickým nástrojům potřebným ke skórování studentů, kalibraci položek, detekci nevhodných položek, odhadu reliability a validity testu v komplexních designech, jakož i skórování a volbě položky v automatizovaných adaptivních testech. Teoretické poznatky jsou implementovány a demonstrovány na reálných datech z přijímacího řízení na lékařskou fakultu.
Scientific branches
R&D category
ZV - Basic research
CEP classification - main branch
AM - Pedagogy and education
CEP - secondary branch
AN - Psychology
CEP - another secondary branch
BB - Applied statistics, operational research
10103 - Statistics and probability
50101 - Psychology (including human - machine relations)
50102 - Psychology, special (including therapy for learning, speech, hearing, visual and other physical and mental disabilities);
50103 - Cognitive sciences
50301 - Education, general; including training, pedagogy, didactics [and education systems]
50302 - Education, special (to gifted persons, those with learning disabilities)
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
The aim of the project was to prepare methodology for development of academic admission tests with use of modern psychometric tools and to contribute to measurement theory. The planned objectives was only partially achieved, the impact on the scientific community in pedagogy will probably be only limited. The project gave rise to six articles published in peer-reviewed journals.
Solution timeline
Realization period - beginning
Jan 1, 2015
Realization period - end
Apr 25, 2019
Project status
U - Finished project
Latest support payment
Mar 17, 2017
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP20-GA0-GJ-U/01:1
Data delivery date
Jul 2, 2020
Finance
Total approved costs
1,391 thou. CZK
Public financial support
1,391 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
1 391 CZK thou.
Public support
1 391 CZK thou.
100%
Provider
Czech Science Foundation
CEP
AM - Pedagogy and education
Solution period
01. 01. 2015 - 25. 04. 2019