Automatic Evaluation of Text Coherence in Czech
Project goals
The aim of the proposed project is to create a software application (computer programme) that will evaluate the continuity (i.e. coherence) of texts like graduation essays or essays written within the certified tests of Czech for foreigners, including works created by students with special educational needs (such as hearing impaired students whose writing skills demonstrate specificities comparable to the students of Czech as a foreign language). Pupils and students often have problems with writing a comprehensive and continuous text as creating texts is more demanding for them than creating separate sentences. Text is not simply „a cluster of sentences“. Its structure has its own rules and laws whose failure can result in the so called incoherent text, i.e. a text that is not fully functional in communication. The ability of creating text should be encouraged already in the teaching process and it is also important to have appropriate tools for its assessment. Within the proposed project, we will carry out a detailed research on the patterns of text construction and the possibility of automatic monitoring of their maintenance in the texts already created. The main result of the project will be a software application (computer programme) that will serve as a tool for objective assessment of the text coherence, i.e. whether the submitted work fulfills the demands placed on a comprehensive text as a unit of the functional communication process. The main objective of the project is to encourage the skills of creating continuous and coherent written texts in the mother tongue.
Keywords
automatic text evaluationcoherencecoreferencediscourse relationsessay scoringsentence information structuretext
Public support
Provider
Ministry of Culture
Programme
Programme for the Support of Applied Research and Exp. Development of National and Cultural Identity dor the Years 2016-2022 (in short, "NAKI II")
Call for proposals
NAKI II 1 (SMK02016DG001)
Main participants
Univerzita Karlova / Matematicko-fyzikální fakulta
Contest type
VS - Public tender
Contract ID
16/2016/OVV
Alternative language
Project name in Czech
Automatické vyhodnocování koherence textu v češtině
Annotation in Czech
Cílem projektu je vytvořit softwarovou aplikaci (počítačový program), která bude hodnotit plynulost a návaznost (resp. ucelenost výstavby) textů, například maturitních slohových prací nebo písemných prací vytvořených v rámci certifikovaných zkoušek z češtiny pro cizince, a to i prací vytvořených studenty se speciálními vzdělávacími potřebami (jako jsou neslyšící, jejichž písemné vyjadřování vykazuje specifika srovnatelná s vyjadřováním studentů češtiny jako cizího jazyka). Žáci a studenti mívají s tvorbou uceleného, plynulého textu problémy, vytváření textu je náročnější než tvorba samostatných vět. Text přitom není pouhým „shlukem vět“. Jeho výstavba má svá pravidla a své zákonitosti, jejichž nedodržení může mít za následek vznik tzv. nekoherentního textu, tj. textu, který není v komunikaci funkční. Dovednost formulovat text je třeba podporovat již ve vyučovacím procesu a také je zapotřebí mít vhodné nástroje na její hodnocení. V rámci navrhovaného projektu proběhne podrobný výzkum zákonitostí výstavby textu a možností automatické kontroly jejich dodržování v textech již vytvořených. Hlavním výsledkem projektu bude softwarová aplikace, která bude sloužit jako pomůcka pro objektivní hodnocení tzv. koherence textu, tj. toho, zda předložený text plní nároky kladené na ucelenou jednotku funkčního komunikačního procesu. Hlavním cílem projektu je podpořit dovednost plynulého a uceleného písemného vyjadřování v mateřském jazyce.
Scientific branches
R&D category
AP - Applied research
CEP classification - main branch
AI - Linguistics
CEP - secondary branch
AM - Pedagogy and education
CEP - another secondary branch
—
50301 - Education, general; including training, pedagogy, didactics [and education systems]
50302 - Education, special (to gifted persons, those with learning disabilities)
60201 - General language studies
60202 - Specific languages
60203 - Linguistics
Completed project evaluation
Provider evaluation
U - Uspěl podle zadání (s publikovanými či patentovanými výsledky atd.)
Project results evaluation
Creating a software application (computer program), which will evaluate the fluency and continuity (or coherence of construction) of texts, such as graduation theses or written works created as part of certified exams in Czech for foreigners, even works created by students with special educational needs was the main goal of the project. Goals have been achieved, the main and secondary results were applied, resp. exceeded and the project was evaluated as "succeeded".
Solution timeline
Realization period - beginning
Mar 1, 2016
Realization period - end
Dec 31, 2019
Project status
U - Finished project
Latest support payment
Mar 26, 2019
Data delivery to CEP
Confidentiality
S - Úplné a pravdivé údaje o projektu nepodléhají ochraně podle zvláštních právních předpisů
Data delivery code
CEP20-MK0-DG-U/03:1
Data delivery date
May 18, 2021
Finance
Total approved costs
7,582 thou. CZK
Public financial support
7,582 thou. CZK
Other public sources
0 thou. CZK
Non public and foreign sources
0 thou. CZK
Basic information
Recognised costs
7 582 CZK thou.
Public support
7 582 CZK thou.
100%
Provider
Ministry of Culture
CEP
AI - Linguistics
Solution period
01. 03. 2016 - 31. 12. 2019