Ближи се крај полугодишта, па је тема оцењивања актуална. Не, не оглашавам се да кажем своје мишљење, него да изнесем психометријску анализу система оцењивања у Србији. У овом тексту су преведени делови мог завршног рада за диплому на курсу Процене Знања у Образовању. Курс је организован од стране Универзитета у Hertfordshire, у Великој Британији. Циљеви курса су били да нас науче како се раде објективни и (високо)квалитетни тестови знања са психометријске тачке гледишта.
Психометрија је део психологије који се бави тестирањем, мерењем, проценама и сличним активностима. Основни принципи су поузданост, валидност и упоредивост. Тестови морају испуњавати ове принципе да би се сматрали се објективним. Образовање, спорт, наука су неке области где се они примењују. Аналогија са спортом није била део тог рада, али сам је овде користила да бих боље објаснила проблематику. И у току курса су често коришћени примери управо из света спорта.
Валидност и поузданост
Валидност инструмента тестирања је идеја да инструмент мери оно за шта је направљен да мери. То значи да ако купимо термометар, очекујемо да ће нам мерити телесну температуру, а не крвни притисак. Ако мери крвни притисак, онда није термометар.
Поузданост је степен у којем тест даје стабилне и доследне резултате. Ако купимо вагу и станемо на њу сваког дана ујутру на празан стомак у току недељу дана, очекујемо мање-више исте резултате. Ако нам пак сваки дан показује по три килограма горе или доле онда, сложићемо се, нешто није у реду са њом, то јест, није поуздана. Верованто бисте је вратили у радњу.
Како се наведени параметри осликавају у образовању у Србији
У правилнику за средњу школу под Сврха и принципи оцењивања, Члан 2, написано је 1) поузданост: означава усаглашеност оцене са утврђеним, јавним и прецизним критеријумима оцењивања; 2) ваљаност: оцена исказује ефекте учења (оствареност исхода, ангажовање и напредовање ученика)”
Од самог почетка већ имамо проблем. Дефиниције ових појмова су у правилнику комплетно другачије од оних којима у психометрији припадају. Како ћемо да кажемо да ли је нешто валидно или поуздано ако нам дефиниције нису тачне? Ја се у својој анализи ипак водим званичним дефиницијама ових појмова.
Валидност оцењивања у образовању
Као што се и од телесне ваге очекује да мери килограме, а не крвни притисак, тако и тестови из предмета треба да тестирају знање из тог предмета, а не нешто друго. Тест из историје треба да мери знање из историје, тест из биологије знање из биологије, итд. Ако тест у себи има комплексан речник који ђаци до сада нису чули на часовима, или теме које нису споменуте, онда ово није више тест знања него тест разумевања написаног. Ако наставник каже да је тест на једну тему, а буде на другу, ни овај тест није валидан, јер ученици нису могли да се спреме адекватно. Тест вербалне способности и изражавања је валидан тест за језичке предмете (било страни или матерњи) али не за друге. Знам да ово руши идеју усмених испита, али овај пример нам је директно презентован на курсу, као пример када тест пада на испиту конструктивне валидности.
Замислите да кошаркашу на турниру неко каже да не може да добије титулу најбољег шутера иако је постигао највише кошева докле год не одржи граматички коректан говор на тему историје кошарке. Питали би их да ли су луди. Ово је ипак логика којом се водимо у усменим испитивањима.
Способност некога да вам усмено каже датуме ратова, имена планина, река, и сл. не представља вербалну способност, него способност меморисања и учења која се лако провери писменим путем. Усмени испити у језичким предметима су валидни када су део целокупног оцењивања, а не једини начин оцењивања. Ђацима мора бити речено тачно шта се тражи и како се оцењује усмени. Сви морају имати исти временски период одговарања који наставник мери (штоперицом, на пример).
Следеће, код нас је сасвим нормално да се ситуације где пола одељења добије недовољну оцену завршавају тако што се тест понови. Ово је чак и закоснки регулисано. А нико се не пита како је могуће да толико ђака добије лошу оцену? Да ли је тест мерио оно што треба да мери‚ да ли сам тест пролази тест валидности? Каква је одговорност наставника у свему овоме?
У спорту се и те како тражи одговорност тренера када тим игра лоше и губи утакмице. Али у нашем образовању нико не тражи одговорност наставника када ђаци/разреди масовно и континуирано имају лоше оцене. Идеја да половина ђака није учила па су добили лошу оцену је валидна као и аргумент да ако више од половине добије пет, онда је већина учила. Ни једно не пије воду статистички. Десет до петнаест посто можемо очекивати да не уче. Али половина, то је већ проблем другачије и озбиљније врсте. Проблем валидности представља и случај када највећи број деце добије одличне оцене, не само лоше. Могуће је онда да је реч о веома лаком тестом.
Често слушамо и о вуковцима и одличним уценицима који нису прошли пријемне испите на факултетима. Значи да нам је успех на пријемном критериум који повезујемо са успехом у школи. Ако нам вуковци и одлични не пролазе, онда значи да нам оцењивање у школама пада и на критеријумској валидности. Додуше можемо поставити и питање колико су пријемни на факултетима валидни, да ли и колико они тестирају знање које се учи у школама.
Поузданост оцењивања у образовању
Поузданост оцењивања се најалкше види у тест-ретест моделу, то јест поновном тестирању. То значи, ако група ученика полаже тест два пута у кратком временском раздобљу на исту тему, резултати за појединачне ученике, као и укупни резултат групе би требало да буду слични на оба теста да би се он сматрао поузданим.
Е па, наш образовни систем пршти од непоузданости. Прво имамо концепт поправљања оцена. Код нас је сасвим нормално да неко на једном контролном добије један, а онда неколико дана касније, или следеће недеље добије далеко бољу оцену. Статистички гледано ово чини читаво тестирање непоузданим. Исти је случај и са понављањем теста када пола разреда добије лошу оцену. Ако на поновљеном испиту сви добију далеко боље оцене, онда овде имамо проблем поузданости. Да је тест поуздан и на следећем би пола разреда требало да добије лошу оцену (овде се онда поставља питање валидности теста).
Статистички гледано, једноставно нешто није у реду или са првим или са другим тестом, када се успех ученика у кратком раздобљу разликује толико. Или је један био сувише лак, а други тежак, или један није тестирао адекватно оно што је предавано, или није било тестирано исто градиво на оба теста. Знање не може одједном да се толико промени у кратком временском периоду.
Упоредивост оцењивања
Оцене и знање се могу упоређивати само када сви раде исти тест, у исто време, са истим бројем задатка, на исту тему, са истим питањима, када сви имају исто време за припрему. Ако Перица одговара (ради тест) у понедељак, али Марица тек у среду они нису имали исто време за примпрему. Ако Ивици поставимо један сет питања, а затим Душици други сет њихово тестирање није исто, а ни знање није упоредиво. Ако једном ученику поставимо пет, а другом шест питања знање ове деце није упоредиво.
Замислите да се у спорту упоређују времена пливача који су пливали 100 краул и 200 мешовито. Обе трке су пливачке, али су дисциплине различите и стилски и по дистанци, те неупоредиве временски. А не би се ни могло рећи да је један пливач бољи од другог.
Осим гореневедених проблема, још један постоји у чињеници да се при усменом испитивању активно промовише ”преписивање” уз сву сагласност самих наставника. Ситуације у којима се једна те иста питања постављају ученицима, где онај следећи само треба да понови оно што су претходни рекли није ништа друго него усмено преписивање. Ово је на нивоу пливачке трке где је некоме дозвољено да плива са перајима, а другима није, или скоковима у даљ, где неко сме да користи мотку, а други не. И на крају се сви они такмиче један против другог? У спорту незамисливо, али у нашем образовању модус-операнди.
Следеће, имамо проблем упоредивности у правилу да се тест понавља само за одређене ученике у случају недовољне оцене. Зашто не за све? Опет се враћамо на потребу да сви раде исти тест и буду тестирани у исто време да би резултати били и правични и упоредиви.
Додатно, кроз усмено оцењивање се директно крши Члан 2, тачка 6 Правилника: “оцењивање без дискриминације и издвајања по било ком основу“. Ако неко није прозван данас (а нема се времена да сви одговарају усмено у 45 минута) јер му презиме не почиње са А или Б на пример, онда је ово и те како дискриминаторно и издвајање по основу презимена. Исто важи за прозивање за по слободној вољи наставника где је основ непознат, али постоји.
Постојање доказа
Сва званична тестирања за оцену треба да буду засноване на доказима. Докази подразумевају доказ о постављеним питањима, датим одговорима, скалама оцењивања, добијеним и/или одузетим поенима.
Да ли можете да замислите званичну спортску утакмицу без да ико мери време трајања утакмице, без да се води записник о постигнутим поенима, фауловима, и сл? Одговор је – не. Па зашто нам је онда прихватљиво да имамо званичне провере знања (усмени) без доказа о постављеним питањима, одговорима, стандардима (бодовним скалама) по којима је оцена дата? Осим тога усмени испити дају огроман простор наставном особљу да злоупотребљава своја овлашћење управо због недостатка доказа.
Решење
Иако проблеми које сам навела овде делују доста велики, они се у ствари могу решити веома једноставно, на задовољство свих у образовању. Уосталом, ако желимо да имамо објективно оцењивање, оно мора да задовољи дефиниције валидности, поузданости и упоредивности.
1. Радите писмене испите, сви у исто време, исти број питања, исти тип питања (ако правите групе). Јасно и гласно нагласите шта ће и када бити тестирано и онда тестирајте то, а не нешто друго. Бодовна скала мора бити јасно и написмено објављена.
2. За сваки контролни имајте примерак који показује тачне одговоре. За отворена питања, где ђаци својим речима одговарају‚ напишите шта су прихватљиви одговори. На пример зато да би неко добио максималан број бодова морао је да напише – па конкретан и јасан одговор. Ако је написао X од тога од тога добио је X бодова, ако Y, добио је Y бодова, итд. Ако није написао ништа од тога добио је 0 бодова. Поставите ово на google учиониоцу или шта год користите online да и ђаци и њихови родитељи могу видети.
3. Случајеви када и тридест посто, а камоли пола разреда добије недовољну оцену морају да буду знак узбуне за све у школи. Не смеју да се решавају само тако што ће се тест поновити, а наствници питати ђаке „јесте учили?” Ово је на нивоу тренера који за пораз криви играче и пита их „јесте ли тренирали?“ Апсолутно је потребно да се тражи и одговорност наставника, као што се тражи и одговорност тренера или селектора чији тим постиже лоше резултате.
4. Што се усменог дела тиче, подстичите ученике да разговарају, дискутују, аргументовано износе и бране мишљења. Питајте их: шта бисте урадили да сте…? Зашто вам се (не) свиђа…? У каквој клими бисте живели и зашто? Коју од ових биљки бисте волели или не у кући и зашто? и сл. Поделите разред у групе и одржите дебату за/против на неку тему. Овако се развија критичко мишљење уз употребу знања са часа. Радите ово као активност на часу, али не за оцену. Мишљења и ставови нису нешто што се може оцењивати. Можемо се само слагати или не слагати с њима.
5. Ако постоји могућност поправљања оцена, то мора бити понуђено свима, на исти начин, у исто време, писаним путем, наравно.
7. Пре неколико година сам у једном тексту овде предложила децималне бројеве као закључне оцене из предмета. Просек је децималан, па могу и оцене из предмета да буду. То би додатно допринело објективности оцењивања.
Верујем да је горе-наведено позитивно за све актере у образовању. Тестирања ће бити и валидна и далеко поузданија, а и правична, па самим тим и упоредива на нивоу разреда. Уз то сви ће имати црно на бело све потребне доказе, па ће и родилељи имати далеко мање разлога за критике. Апсолутно верујем да је ово у најбољем интересу наставника и представља заштиту од (у тренутној ситуацији веома валидних) критика на рачун оцењивања. Заиста win-win за све.
Аутор: Лидија Смирнов, педагог и проф. енглеског језика