Písemný projev z cizích jazyků a jeho způsob hodnocení v kontextu evropské jazykové vzdělávací politiky. Reliabilita hodnocení otevřených úloh na příkladu písemného projevu z německého jazyka ověřovaného maturitní zkouškou

Abstract

This dissertation deals with the assessment of open-ended test items in the Writing Part of the Maturita Exam. The influence of the European language policy on Czech curricular documents and the conception of foreign language Maturita Exam is described. Writing performance requirements in the Maturita Exam are also specified. Comparison of the holistic and analytic scoring methods follows. Based on that, analytic Maturita Exam criteria and its rater scales are introduced. The dissertation then deals with the research conducted to describe and analyse the 2009-2011 training process of German language raters for writing assessment in the Maturita Exam. Rater training is evaluated and ratings are analysed on the basis of inter-rater agreement among raters and between raters and the expert rating team. The research also explorers whether the set rating procedures and scoring principles, i.e. analytic criteria, raters and the way they use the criteria, are objective, reliable and accurate. The influence of the raters' level of German language, their age and the type of school they teach at is also addressed. The research showed that the level of intra-rater agreement tends to improve throughout the rater training and a certain level of reliability is reached. The influence of age and the type of school...

Disertační práce se zabývá hodnocením otevřených úloh ve formě písemné práce, která je ověřována státní maturitní zkouškou. Je zde popsán vliv evropské jazykové vzdělávací politiky na kurikulární dokumenty České republiky a koncepci maturitní zkoušky z cizích jazyků, specifikován písemný projev ověřovaný maturitní zkouškou, srovnán analytický a holistický způsob hodnocení a představena analytická kritéria a její hodnoticí škály používané v maturitní zkoušce. Cílem výzkumného šetření je popsat a analyzovat odbornou přípravu hodnotitelů písemného projevu z německého jazyka, která proběhla v letech 2009-2011, a zhodnotit tuto přípravu na základě zkoumání míry shody mezi hodnotiteli, mezi hodnotiteli a expertním týmem a přísnosti jejich hodnocení. Je zde tedy zkoumáno, zda nastavené postupy a principy pro hodnocení písemného projevu, tj. analytická kritéria, hodnotitelé a jejich práce s kritérii, jsou objektivní, spolehlivé a přesné. Dále je zkoumán vliv úrovně obtížnosti, věku učitelů a typu školy, na které vyučují, na jejich hodnocení. Výzkumným šetřením se prokázalo, že míra shody mezi hodnotiteli se s nácvikem zvyšuje a určitá míra reliability hodnocení je zajištěna. Věk hodnotitelů a typ školy pravděpodobně nemá zásadní vliv na jejich hodnocení. I když odborná příprava hodnotitelů nebyla v...