Srovnatelnost testových verzí slovenské maturitní zkoušky z anglického jazyka

Mgr. Martina Hulešová, M.A.

Doctoral thesis

Test versions comparability of the Slovak upper-scondary school-leaving examination in English

Abstract:

Srovnatelnost testových verzí zkoušek vysoké důležitosti je jednou z klíčových podmínek pro smysluplnou a spravedlivou interpretaci výsledků a pro jejich spravedlivé využití při rozhodování o testovaných na všech úrovních: individuální, institucionální i systémové. Srovnatelnost testových verzí je tedy klíčovým aspektem validity, chápeme-li ji jako spravedlivou a smysluplnou interpretaci testových skórů (Messick, 1995). U zkoušek vysoké důležitosti, jejichž výsledek ovlivňuje závažným způsobem budoucnost testovaných, jsou poskytovatelé testu povinni přinejmenším z pohledu obecně přijímaných Standardů pro pedagogické a psychologické testování (AERA, APA, & NCME, 2014) a případně jiných kodexů či principů dobré praxe prokázat kvalitu testového nástroje včetně srovnatelnosti testových verzí a dokumentovat a zpřístupnit informace o procesech a opatřeních, jejichž pomocí bylo srovnatelnosti testových verzí dosaženo. Disertační projekt byl proto motivován snahou zjistit, jakými metodami a přístupy je obecně srovnatelnost řešena v institucích poskytujících testy vysoké důležitosti, a vyzkoušet některé z metod a postupů. Na základě zjištěných výsledků chceme navrhnout, jak by bylo možné dosahovat srovnatelnosti testových verzí, aniž by se měnily stávající podmínky, včetně podmínek legislativních. Projekt se zaměřil na slovenskou maturitní zkoušku z anglického jazyka na úrovni B1, konkrétně na testy receptivních dovedností použité v jarních termínech let 2012-2015. Byly stanoveny tři výzkumné cíle: 1. zjistit, jaké metody a postupy pro dosahování srovnatelnosti testových verzí existují a které z nich a z jakého důvodu jsou používány institucemi poskytujícími podobné zkoušky jako NÚCEM; 2. zjistit, zda a případně do jaké míry jsou testové verze použité v letech 2012-2015 ekvivalentní, a pro toto zkoumání využít některé z metod vybraných na základě studia literatury a dalších kritérií; a 3. na základě zjištěných výsledků a zkušeností s použitými metodami navrhnout takové postupy a metody, které by mohly být implementovány a v budoucnu využívány poskytovatelem zkoušek při vývoji a sestavování ekvivalentních testových verzí a reportování a interpretaci výsledků. Byl proveden teoretický výzkum tématu srovnatelnosti v různých kontextech, a dále metod a postupů, které jsou pro dosahování srovnatelnosti testových verzí využívány. Následně byly vybrané metody (analýza struktury obsahu a exploratorní faktorová analýza) použity v empirické části výzkumu. Využité metody poskytly pohled na míru srovnatelnosti testových verzí použitých v letech 2012-2015 a umožnily identifikovat problematické oblasti při zkoumání srovnatelnosti. V poslední části disertační práce naznačujeme možná opatření, která by umožnila srovnatelnosti testových verzí dosahovat, včetně využití metod vyrovnávání testových skórů. Zároveň kriticky reflektujeme využitelnost a funkčnost doporučovaných postupů a metod i závěry, ke kterým disertační projekt dospěl.

Abstract:

Test versions equivalence, especially of high-stakes tests, is one of the key validity aspects and a necessary condition for meaningful and fair interpretation of the results (Messick, 1995), and for making fair decisions about test takers at individual, institutional and system levels. The test providers, especially in the case of high-stakes tests, should gather evidence, prove and inform about the quality of the testing instruments and follow the principles of good practice in testing, as stated in the Standards for educational and psychological testing (AERA, APA, & NCME, 2014) or other relevant codes of practice. Striving and achieving test versions equivalence and documenting the processes are two key steps on the way towards fair testing. The research project strives to answer how the test versions equivalence were investigated in similar institutions that provide high-stakes tests, to what extent the test versions of high-stakes tests (in this case, the Slovak upper-secondary school leaving examination in English at B1 level) are equivalent, and how equivalence could be achieved in the current context of the Slovak exams without any changes in the legislation. The project focused on the tests of receptive skills used in the spring sessions between 2012 and 2015, and investigated what methods and procedures could be implemented to develop equivalent test versions and to prove their equivalence. The research areas and questions were the following: first, to investigate what methods and procedures for the development of equivalent test versions exist and in what phase and under what conditions they are used in the test development cycle; second, to use some of the methods identified in the previous stage to determine to what extent the test versions used between 2012 and 2015 are comparable; and third, to propose, on the basis of the findings, a series of methods and procedures appropriate for the context of the Slovak exams which might lead to the development of equivalent test versions with equivalent score meanings. Theoretical research on the subject of comparability in general and methods and procedures used in various contexts in particular was conducted. Subsequently, selected methods (content structure analysis and exploratory factor analysis) were used in the empirical part of the research. These methods provided deep insight into the degree of comparability of the test versions used between 2012 and 2015 and made it possible to identify problem areas in terms of test versions comparability. In the last part we suggest possible measures that might enable test developers to achieve test versions equivalence, including the use of test score equating approaches, while critically reflecting the feasibility, practicality and usefulness of the suggested procedures and methods, as well as the conclusions reached by the dissertation project.

Keywords

Srovnatelnost testových verzí, validita, analýza struktury obsahu, exploratorní faktorová analýza, vyrovnávání skórů, test versions comparability and equivalence, validity, content analysis, exploratory factor analysis, score equating

Language used: Czech

Date on which the thesis was submitted / produced: 27. 3. 2020

Thesis defence

• Date of defence: 24. 6. 2020
• Supervisor: doc. PhDr. Renata Povolná, Ph.D.
• Reader: prof. PhDr. Silvia Pokrivčáková, PhD., doc. PhDr. Lucie Betáková, MA, Ph.D.

Masaryk University

Faculty of Education

Doctoral programme / field:
Specialization in Pedagogy (4-years) / Didactics of Foreign Language