Testové strategie používané studenty v testech receptivních dovedností v angličtině

Mgr. Eva Bumbálková, Ph.D.

Doctoral thesis

Learners’ Test-taking Strategies Used in Receptive Skills Tests in English

Abstract:

Předložená doktorská práce se zabývá použitím testových strategií v testech poslechu a čtení v angličtině. Testové strategie jsou strategie, které testovaní studenti používají u testových úloh, když se vypořádávají s jazykovými problémy a tím, jak odpověď na úlohu zpracovat. Cílem práce bylo zjistit, jaké strategie studenti používají, a popsat proces zapojení testových strategií do vypracování odpovědi na testovou úlohu, jakož i zjistit, jaké důvody studenti uvádějí pro volbu určité strategie. Dalším cílem bylo zjistit, zda je používání těchto strategií odlišné při skládání zkoušek pro různé úrovně pokročilosti, či zda se liší v závislosti na dalších proměnných a jaký je vztah mezi použitím testových strategií a výsledkem testu. Testové strategie byly zkoumány v kontextu standardizovaných zkoušek z anglického jazyka podle NATO STANAG 6001. Pro výzkum byl použit smíšený design. V kvalitativní části výzkumu byla prostřednictvím polostrukturovaných rozhovorů získána data o konkrétních strategiích použitých v testech i o tom, jakým způsobem jsou strategie zapojeny do procesu vypracování odpovědi na testovou úlohu. Pro získání dat o četnosti používání konkrétních strategií a demografických údajů účastníků byl použit dotazník testových strategií. Analýzy dat odhalily, že byly použity čtyři typy testových strategií, a to žákovské strategie, strategie managementu testu, strategie opírající se o zkušenost s testy a afektivní strategie. Byl vytvořen model postupu zpracování odpovědi na testovou úlohu zdůrazňující klíčovou roli strategie subjektivního hodnocení obtížnosti položky. Výběr strategie je ovlivněn jak subjektivními faktory (hodnocením obtížnosti úkolu, názory na konstrukci položky a na účinnost strategie), tak objektivními okolnostmi (charakteristikami testu, způsobem hodnocení). Nejvíce byly používány žákovské strategie, afektivní strategie byly využity nejméně. Byl zjištěn určitý vliv použití testových strategií na výsledky testů, nelze však určit, zda je vliv celkově pozitivní nebo negativní – analýza odhalila dopady jednotlivých strategií. Pokud jde o rozdíly v užití testových strategií mezi skupinami studentů různých charakteristik, jejich věcná významnost je malá. Výsledky ukazují, že studenti skládající zkoušku nejnižší úrovně používají strategie opírající se o zkušenost testy častěji než studenti skládající zkoušky vyšších úrovní. Neúspěšní studenti používají strategie opírající se o zkušenost s testy častěji než úspěšní. Jelikož se tento výzkum soustředil pouze na otázky typu výběr z možností, v dalším zkoumání by bylo vhodné se zabývat uplatněním testových strategií u testových úloh dalších typů.

Abstract:

The presented doctoral thesis deals with test-taking strategy engagement in English language reading and listening comprehension tests. Test-taking strategies are strategies test-takers employ to handle language issues and item-response demands when responding to a test task. The objectives of the work were to establish the types of strategies used and to describe the process of test-taking strategy engagement in responding to test tasks as well as the test-takers’ rationale for strategy selection. Further objectives were to determine the effect test-taking strategy use may have on test performance and to ascertain whether test-taking strategy usage varies according to the test level or certain test-taker characteristics. The phenomenon was examined in the context of standardized English language proficiency exams in accordance with NATO STANAG 6001. The research was of a mixed-methods design. In the qualitative part of the research, semi-structured interviews were used to collect data on the process of test-taking strategy engagement in tests. A self-constructed test-taking questionnaire was utilized to collect data on the frequency of the usage of particular strategies, as well as demographic data of the participants. Data analyses revealed four types of test-taking strategies were used: language learner strategies, test management strategies, test-wiseness strategies, and affective strategies. A model of the engagement of test-taking strategies in the task-response process was suggested, underlining the role of a key strategy, the subjective evaluation of item difficulty. Strategy selection was influenced by subjective factors – item difficulty evaluation, opinions on item construction, opinions on strategy effectivity – as well as by objective circumstances (test-characteristics, scoring method). A certain effect of test-taking strategy use on test scores was identified; a determination as to whether the overall effect is positive or negative could not be made – analysis revealed the effects of individual strategies. As far as differences between groups of test-takers of different characteristics are concerned, the practical significance of the differences was small. Test-takers who did not pass the tests used test-wiseness strategies slightly more frequently than those who were successful. Also, test-takers sitting the lowest level exam tended to use test-wiseness strategies more frequently. As the research only focused on multiple-choice questions, further study could concentrate on the process of test-taking strategy engagement with other test item types.

Keywords

test-taking strategies, test-management strategies, test-wiseness strategies, affective strategies, language assessment, ESL, NATO STANAG 6001 exams, adult learners, testové strategie, strategie managementu testu, strategie opírající se o zkušenost s testy, afektivní strategie, angličtina jako cizí jazyk, testování jazyků, dospělí studenti

Language used: English

Date on which the thesis was submitted / produced: 11. 4. 2023

Thesis defence

• Date of defence: 25. 5. 2023
• Supervisor: doc. Mgr. et Mgr. Kateřina Vlčková, Ph.D.
• Reader: doc. PaedDr. Monika Černá, Ph.D., doc. Mgr. Světlana Hanušová, Ph.D.

Masaryk University

Faculty of Education

Doctoral programme / field:
Didactics of Foreign Language / Didactics of Foreign Language