Heterogeneity in reporting behavior on surveys among different countries, schools and groups of students
Project goals
International large-scale assessment studies collect valuable data on students’ attitudes, beliefs, and learning experiences using questionnaire items with rating scales. However, such data are prone to inaccuracies due to the differences in students’ reporting behavior. In this project, we use a variety of methodological approaches capturing response scale usage (e.g. two students with the same actual level of a concept assessing themselves on a scale differently) and survey effort (different amounts of effort expended by students while responding to questionnaire items). We investigate the differences in reporting behavior between diverse groups of students and how their reporting behavior differs across different years. We also explore how the approaches are mutually related and how they can explain the anomalous country-level negative relationships between, for example, students’ self-reported attitudes and student achievement, as discussed in the literature. The project’s outcomes include studies in impact factor journals and a peer-reviewed journal.
Keywords
Self-reportsscale usagesurvey effortquestionnaire surveyscross-group comparison
Public support
Provider
Czech Science Foundation
Programme
Standard projects
Call for proposals
SGA0202100005
Main participants
Univerzita Karlova / Pedagogická fakulta
Contest type
VS - Public tender
Contract ID
21-09064S
Alternative language
Project name in Czech
Heterogenita ve způsobu odpovídaní v dotazníkových šetřeních napříč různými zeměmi, školami a skupinami studentů
Annotation in Czech
V rámci mezinárodních výzkumů výsledků vzdělávání jsou sbírána cenná data týkající se žákovských postojů, přesvědčení a učebních zkušeností pomocí dotazníkových položek s hodnoticími škálami. Tato data jsou však náchylná k nepřesnostem způsobeným rozdíly v chování při odpovídání na dotazníkové položky mezi žáky. V tomto projektu užíváme řadu metodologických přístupů pro identifikaci rozdílů v užívání škál (např. dva žáci se stejnou úrovní určitého konceptu se hodnotí na škále rozdílně) a úsilí při odpovídání (rozdíly v míře úsilí vynaloženého žáky při odpovídání na dotazníkové položky). Studujeme rozdíly v chování při odpovídání na dotazníkové položky mezi různými skupinami žáků a jak se toto chování mění v různých letech. Též zkoumáme, jaké jsou vzájemné vztahy mezi užívanými metodologickými přístupy a jak mohou pomoci vysvětlit anomální negativní vztahy na úrovni zemí například mezi žákovským sebehodnocením postojů a žákovskými výsledky, které jsou diskutovány v literatuře. Výsledky projektu zahrnují články v impaktovaných časopisech a recenzovaném časopise.
Scientific branches
Solution timeline
Realization period - beginning
Jan 1, 2021
Realization period - end
Dec 31, 2023
Project status
—
Latest support payment
Mar 10, 2023
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP24-GA0-GA-R
Data delivery date
May 21, 2024
Finance
Total approved costs
3,795 thou. CZK
Public financial support
3,795 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
3 795 CZK thou.
Public support
3 795 CZK thou.
100%
Provider
Czech Science Foundation
OECD FORD
Education, general; including training, pedagogy, didactics [and education systems]
Solution period
01. 01. 2021 - 31. 12. 2023