STATISTIKA A HODNOCENÍ PŘIJÍMACÍHO ŘÍZENÍ

STATIStICS AND THE ADMISSION PROCEDURE EVALUATION

Libuše Svatošová

Adresa autora:

Svatošová Libuše, Ing., CSc., Česká zemědělská univerzita v Praze, PEF, katedra statistiky, 165 21 Praha 6 - Suchdol, e-mail : svatosova@pef.czu.cz

Anotace :

Příspěvek je zaměřen na možnosti statistického hodnocení výsledků přijímacího řízení, upozorňuje na některé problémy s tímto hodnocením spojené. Druhá část je zaměřena na problematiku hodnocení přijímacích testů a problematiku ověření nejen znalostí uchazeče, ale též ověření jeho schopností ke studiu na vysoké škole i následném uplatnění v oboru.

Summary:

The paper deals with possibilities of statistical evaluation of admissiom procedure results and stresses some problems related to this evaluation. The second part is aimed at the topic of admission tests evaluation and at the topic of testing not only applicants knowledge,but also his abilities for the university study and for future occupation.

Klíčová slova:

přijímací řízení, znalosti a schopnosti uchazečů, základní statistické charakteristiky, reliabilita, akademická úspěšnost, testy studijních předpokladů.

Key words:

admission procedure, knowledge and skills of applicants, elementary statistical charakteristics, reliability, academic achievement, tests of ability for study

Úvod

Příspěvek se zabývá dvěma okruhy otázek. V prvé řadě jde o statistiky hodnocení průběhu přijímacího řízení, jak ukládá vysokoškolský zákon. Druhou otázkou je způsob hodnocení přijímacích testů z matematiky a cizího jazyka.

Statistické charakteristiky výsledků přijímacího řízení

Nově přijatý zákon o vysokých školách (č. 111/98 ) přináší některé změny týkající se povinností vysokých škol informovat o podmínkách a o průběhu a výsledcích přijímacího řízení. V § 50, odst. 8 se uvádí : “ Do 15 dnů po skončení přijímacího řízení zveřejní vysoká škola nebo fakulta zprávu o jeho průběhu. Pokud jsou součástí přijímacího řízení i písemné přijímací zkoušky, uvede ve zprávě základní statistické charakteristiky všech jejich částí.”

Tolik zákon. Jaké statistické charakteristiky se považují za základní již neuvádí ani zákon ani jiný právní předpis. Za základní statistické charakteristiky se obecně považují průměr, rozptyl, směrodatná odchylka, popřípadě variační koeficient, minimum a maximum.

Nadace Scio v materiálu, který pro hodnocení přijímacích zkoušek vypracovala, doporučuje kromě výše uvedených charakteristik uvést některou z charakteristik reliability. Reliabilita je jedním z ukazatelů spolehlivosti výsledku zkoušky, který ukazuje, do jaké míry má na výsledek zkoušky náhoda ( s jakou pravděpodobností by uchazeči dosáhli stejných či podobných výsledků při opakování testu s podobnými úlohami). Pro výpočet reliability je možné užít koeficient KR-20 (Kuder-Richardson) či koeficient Cronbachovo alfa.

Pokud se u všech testovaných úloh používá pouze hodnocení správně x špatně, potom můžeme vyjádřit reliabilitu pomocí koeficientu KR-20 :

KR-20 =

, kde s2 = rozptyl, k = počet úloh v testu, pi = úspěšnost účastníků testu u i-té úlohy (podíl odpovědí správně ku všem odpovědím).

Pokud má v některých úlohách bodová stupnice více než dvě hodnoty (např. je hodnocena škálou 0-5 bodů) je nutné použít koeficient Cronbachovo a :

:

a =

, kde s2 = rozptyl, k = počet úloh v testu, s2i = rozptyl výsledků u i-té úlohy.

Koeficienty reliability nabývají hodnoty z intervalu 0,1. Čím je vyšší hodnota tohoto koeficientu, tím menší roli hraje náhoda. V praxi se požaduje reliabilita minimálně 0,85. Při reliabilitě v rozmezí 0,75 -0,85 lze výsledek použít jako jeden z podkladů pro rozhodování, testy s reliabilitou v rozpětí 0,65 -0,75 jsou použitelné pouze pro porovnání skupin uchazečů. Testy s reliabiltou nižší než 0,6 by neměly být pro objektivní rozhodování použity.

Zajímavou informaci z hlediska hodnocení přijímacího řízení mohou dát i další statistické charakteristiky - zejména metody grafické jako je box-plot, stem-and -leaf plot, diagramy apod.

Toto vše nám současná technika zpracování přijímacího řízení na PEF umožňuje provést. Navíc provádíme další sledování - hodnocení výsledků přijímacího řízení po dnech, podle komisí, podle jednotlivých typů příkladů z matematiky. Všechny tyto analýzy poskytují nesmírné množství informací, které může vedení fakulty využít jak pro hodnocení současného stavu, tak zejména jako podklad pro přípravu příštího přijímacího řízení.

Jiná otázka je, jak tyto informace může chápat laická veřejnost ( zejména účastníci přijímacího řízení), pro než by uvedené informace dle zákona měly rovněž sloužit. Je třeba si uvědomit, že při porovnávání jednotlivých variant testů není dodržena podmínka ceteris paribus - tzn, neměnné podmínky. Každou z variant testů dostává jiná skupina uchazečů. Z opakované zkušenosti víme, že např. uchazeči o studium na obor Informatika mají výsledky horší, než uchazeči o studium na obor PaE, že absolventi určitých typů škol ( některé obchodní akademie, SOU či SZTŠ) mají výsledky horší než absolventi gymnázií. Není možné zajistit homogenitu skupin uchazečů pro jednotlivé varianty testů. Proto pouhé uveřejnění výsledků by mohlo vést ke zkreslení informace - méně úspěšní uchazeči by se mohli domnívat, že jejich test byl těžší, že není zajištěna vyváženost jednotlivých variant. Proto je třeba k užití a zveřejňování výše uvedených statistických charakteristik postupovat velmi obezřetně.

Z výše uvedených důvodů lze tedy vyvodit závěr : všechny uvedené statistické charakteristiky mají pro hodnocení úrovně přijímacího řízení svůj význam, většina by však měla sloužit vedení fakulty pro podrobné hodnocení průběhu přijímacího řízení. Pro zveřejnění statistiky výsledků přijímacího řízení by však měly být použity charakteristiky jednoduché, veřejnosti známé a snadno vysvětlitelné, které budou popisovat výsledky přijímacího řízení souhrnně.

Druhou otázkou, kterou je třeba se zabývat, je hodnocení testů v přijímacím řízení. V letošním roce byly jak pro zkoušku z cizího jazyka, tak pro zkoušku z matematiky zvoleny testy s nabídnutými variantami odpovědí. Hodnocení bylo následující : správná odpověď byla hodnocena 0,5 respektive 1,5 bodem, špatná či žádná odpověď 0 bodů. Tímto hodnocením se otevírá možnost určitých spekulací účastníků testu. Uchazeč odpověď neví, ale odhadne, protože neexistuje žádný postih. Takto se může stát, že i ten, kdo zaškrtne odpovědi zcela náhodně, získává určitý počet bodů ( v jazyce v průměru 7 bodů, v matematice v průměru 3 body). Jestliže pak při rozhodování o přijetí hraje roli každý bod, je třeba nad způsobem hodnocení uvažovat..

V případě, že by byla špatná odpověď hodnocena minusovými body, uchazeči by tolik neriskovali a odpovídali by pouze na ty otázky, jejichž odpověď podle svého mínění znají.

I zde bychom našli některé námitky proti.

V letošním přijímacím řízení jsme proto provedli simulované hodnocení i výše popsaným způsobem a to pouze v matematice. Zde jsme použili hodnocení : správná odpověď 1.5 bodu, špatná odpověď -1 bod, žádná odpověď 0 bodů. Pro toto hodnocení bylo pak stanoveno pořadí uchazečů a byly sledovány rozdíly v pořadí oproti hodnocení stávajícímu. Zde je třeba poznamenat, že k tomuto porovnání musíme přistupovat velmi opatrně, neboť pokud by uchazeči věděli, že budou hodnoceni i zápornými body, chovali by se opatrněji. Přesto bylo toto porovnání provedeno. Následující tabulka představuje rozdíly v pořadí u 786 uchazečů o studium na obor Informatika :

Tab.č. 1

Rozdíly v celkovém pořadí uchazečů o studium při porovnání dvou

způsobů hodnocení testů

Je třeba poznamenat, že maximální rozdíl v dosažených bodech byl 8 bodů. Nejnižší bodové rozdíly a tedy i rozdíly v pořadí byly u skupiny uchazečů s výbornými výsledky a u skupiny uchazečů s naprosto nevyhovujícími výsledky. Největší rozdíly byly zjištěny u skupiny “středu” - tedy u těch, o jejichž přijetí rozhodovalo zpravidla odvolání. Právě z tohoto důvodu by možná bylo vhodnější užití hodnocení s minusovým postihem. Námitkou proti tomuto hodnocení může být to, že strach z minusové “sankce” může vyvolat větší nervozitu a stres u uchazečů, i když se domnívám, že na podobný způsob hodnocení jsou uchazeči zvyklí již ze střední školy.

Další otázkou je, zda a do jaké míry testy z matematiky a cizího jazyka posoudí schopnosti uchazeče ke studiu na naší fakultě. Tyto testy ověří převážně znalosti uchazeče, ale velmi málo vypovídají o dalších schopnostech uchazeče jako je např.flexibilita, kreativita , schopnost rychlého rozhodování při riziku apod.. Domnívám se, že by bylo účelné rozšířit přijímací řízení i tímto způsobem. Některé vysoké školy již tuto otázku řeší zavedením testu studijních předpokladů. Pomocí těchto testů se prověří základní dovednosti a schopnosti, které student potřebuje pro úspěšné vysokoškolské studium a následné uplatnění v oboru. Obsah testů je přímo odvozen od nároků, které od první chvíle na studenta klade vysokoškolské studium a které tedy spolurozhodují o tom, jakým způsobem si na vysoké škole a při dalším studiu student počíná. V zahraničí je tato zkouška považována za jeden z nejlepších prediktorů akademické úspěšnosti studenta. Informace, kterou na základě výsledků testů studijních předpokladů obdržíme, může být jednak využita při rozhodování o přijetí, ale rovněž i v pedagogickém procesu při výuce, tvorbě či úpravě jednotlivých předmětů či zaměření apod.

Je zřejmé, že rozhodování o přijetí či nepřijetí a tím i o celkovém budoucím uplatnění uchazečů na základě několika testů je vždy velmi obtížné. Aby bylo skutečně objektivní a zaručilo i výchovu dobrých profesionálů, je třeba mu věnovat velkou pozornost.

Literatura:

Kába B., Svatošová L.: Statistická analýza výsledků přijímacího řízení na PEF, závěrečné zprávy vnitřních grantů PEF, PEF ČZU Praha 1994-1998

Prášilová M., Zeipelt, R. : Obsah a metody výuky z pohledu studentů provozně ekonomické fakulty, Sborník prací z vědecké konference “Agrární perspektivyVI.”, ČZU Praha, 1977

Svatoš M., Kába B., Svatošová L.: Komparativní analýza vazeb mezi středoškolskými výsledky, výsledky přijímacího řízení a akademickou úspěšností studentů PEF ČZU, závěrečná zpráva grantového projektu FRVŠ, Praha 1999

Svatošová L.: Problematika prověřování schopností ke studiu v přijímacím řízení, Sborník prací z vědecké konference “Agrární perspektivyVI.”, ČZU Praha, 1977