Bliži se kraj polugodišta, pa je tema ocenjivanja aktualna. Ne, ne oglašavam se da kažem svoje mišljenje, nego da iznesem psihometrijsku analizu sistema ocenjivanja u Srbiji. U ovom tekstu su prevedeni delovi mog završnog rada za diplomu na kursu Procene Znanja u Obrazovanju. Kurs je organizovan od strane Univerziteta u Hertfordshire, u Velikoj Britaniji. Ciljevi kursa su bili da nas nauče kako se rade objektivni i (visoko)kvalitetni testovi znanja sa psihometrijske tačke gledišta.
Psihometrija je deo psihologije koji se bavi testiranjem, merenjem, procenama i sličnim aktivnostima. Osnovni principi su pouzdanost, validnost i uporedivost. Testovi moraju ispunjavati ove principe da bi se smatrali se objektivnim. Obrazovanje, sport, nauka su neke oblasti gde se oni primenjuju. Analogija sa sportom nije bila deo tog rada, ali sam je ovde koristila da bih bolje objasnila problematiku. I u toku kursa su često korišćeni primeri upravo iz sveta sporta.
Validnost i pouzdanost
Validnost instrumenta testiranja je ideja da instrument meri ono za šta je napravljen da meri. To znači da ako kupimo termometar, očekujemo da će nam meriti telesnu temperaturu, a ne krvni pritisak. Ako meri krvni pritisak, onda nije termometar.
Pouzdanost je stepen u kojem test daje stabilne i dosledne rezultate. Ako kupimo vagu i stanemo na nju svakog dana ujutru na prazan stomak u toku nedelju dana, očekujemo manje-više iste rezultate. Ako nam pak svaki dan pokazuje po tri kilograma gore ili dole onda, složićemo se, nešto nije u redu sa njom, to jest, nije pouzdana. Verovanto biste je vratili u radnju.
Kako se navedeni parametri oslikavaju u obrazovanju u Srbiji
U pravilniku za srednju školu pod Svrha i principi ocenjivanja, Član 2, napisano je 1) pouzdanost: označava usaglašenost ocene sa utvrđenim, javnim i preciznim kriterijumima ocenjivanja; 2) valjanost: ocena iskazuje efekte učenja (ostvarenost ishoda, angažovanje i napredovanje učenika)”
Od samog početka već imamo problem. Definicije ovih pojmova su u pravilniku kompletno drugačije od onih kojima u psihometriji pripadaju. Kako ćemo da kažemo da li je nešto validno ili pouzdano ako nam definicije nisu tačne? Ja se u svojoj analizi ipak vodim zvaničnim definicijama ovih pojmova.
Validnost ocenjivanja u obrazovanju
Kao što se i od telesne vage očekuje da meri kilograme, a ne krvni pritisak, tako i testovi iz predmeta treba da testiraju znanje iz tog predmeta, a ne nešto drugo. Test iz istorije treba da meri znanje iz istorije, test iz biologije znanje iz biologije, itd. Ako test u sebi ima kompleksan rečnik koji đaci do sada nisu čuli na časovima, ili teme koje nisu spomenute, onda ovo nije više test znanja nego test razumevanja napisanog. Ako nastavnik kaže da je test na jednu temu, a bude na drugu, ni ovaj test nije validan, jer učenici nisu mogli da se spreme adekvatno. Test verbalne sposobnosti i izražavanja je validan test za jezičke predmete (bilo strani ili maternji) ali ne za druge. Znam da ovo ruši ideju usmenih ispita, ali ovaj primer nam je direktno prezentovan na kursu, kao primer kada test pada na ispitu konstruktivne validnosti.
Zamislite da košarkašu na turniru neko kaže da ne može da dobije titulu najboljeg šutera iako je postigao najviše koševa dokle god ne održi gramatički korektan govor na temu istorije košarke. Pitali bi ih da li su ludi. Ovo je ipak logika kojom se vodimo u usmenim ispitivanjima.
Sposobnost nekoga da vam usmeno kaže datume ratova, imena planina, reka, i sl. ne predstavlja verbalnu sposobnost, nego sposobnost memorisanja i učenja koja se lako proveri pismenim putem. Usmeni ispiti u jezičkim predmetima su validni kada su deo celokupnog ocenjivanja, a ne jedini način ocenjivanja. Đacima mora biti rečeno tačno šta se traži i kako se ocenjuje usmeni. Svi moraju imati isti vremenski period odgovaranja koji nastavnik meri (štopericom, na primer).
Sledeće, kod nas je sasvim normalno da se situacije gde pola odeljenja dobije nedovoljnu ocenu završavaju tako što se test ponovi. Ovo je čak i zakosnki regulisano. A niko se ne pita kako je moguće da toliko đaka dobije lošu ocenu? Da li je test merio ono što treba da meri‚ da li sam test prolazi test validnosti? Kakva je odgovornost nastavnika u svemu ovome?
U sportu se i te kako traži odgovornost trenera kada tim igra loše i gubi utakmice. Ali u našem obrazovanju niko ne traži odgovornost nastavnika kada đaci/razredi masovno i kontinuirano imaju loše ocene. Ideja da polovina đaka nije učila pa su dobili lošu ocenu je validna kao i argument da ako više od polovine dobije pet, onda je većina učila. Ni jedno ne pije vodu statistički. Deset do petnaest posto možemo očekivati da ne uče. Ali polovina, to je već problem drugačije i ozbiljnije vrste. Problem validnosti predstavlja i slučaj kada najveći broj dece dobije odlične ocene, ne samo loše. Moguće je onda da je reč o veoma lakom testom.
Često slušamo i o vukovcima i odličnim ucenicima koji nisu prošli prijemne ispite na fakultetima. Znači da nam je uspeh na prijemnom kriterium koji povezujemo sa uspehom u školi. Ako nam vukovci i odlični ne prolaze, onda znači da nam ocenjivanje u školama pada i na kriterijumskoj validnosti. Doduše možemo postaviti i pitanje koliko su prijemni na fakultetima validni, da li i koliko oni testiraju znanje koje se uči u školama.
Pouzdanost ocenjivanja u obrazovanju
Pouzdanost ocenjivanja se najalkše vidi u test-retest modelu, to jest ponovnom testiranju. To znači, ako grupa učenika polaže test dva puta u kratkom vremenskom razdoblju na istu temu, rezultati za pojedinačne učenike, kao i ukupni rezultat grupe bi trebalo da budu slični na oba testa da bi se on smatrao pouzdanim.
E pa, naš obrazovni sistem pršti od nepouzdanosti. Prvo imamo koncept popravljanja ocena. Kod nas je sasvim normalno da neko na jednom kontrolnom dobije jedan, a onda nekoliko dana kasnije, ili sledeće nedelje dobije daleko bolju ocenu. Statistički gledano ovo čini čitavo testiranje nepouzdanim. Isti je slučaj i sa ponavljanjem testa kada pola razreda dobije lošu ocenu. Ako na ponovljenom ispitu svi dobiju daleko bolje ocene, onda ovde imamo problem pouzdanosti. Da je test pouzdan i na sledećem bi pola razreda trebalo da dobije lošu ocenu (ovde se onda postavlja pitanje validnosti testa).
Statistički gledano, jednostavno nešto nije u redu ili sa prvim ili sa drugim testom, kada se uspeh učenika u kratkom razdoblju razlikuje toliko. Ili je jedan bio suviše lak, a drugi težak, ili jedan nije testirao adekvatno ono što je predavano, ili nije bilo testirano isto gradivo na oba testa. Znanje ne može odjednom da se toliko promeni u kratkom vremenskom periodu.
Uporedivost ocenjivanja
Ocene i znanje se mogu upoređivati samo kada svi rade isti test, u isto vreme, sa istim brojem zadatka, na istu temu, sa istim pitanjima, kada svi imaju isto vreme za pripremu. Ako Perica odgovara (radi test) u ponedeljak, ali Marica tek u sredu oni nisu imali isto vreme za primpremu. Ako Ivici postavimo jedan set pitanja, a zatim Dušici drugi set njihovo testiranje nije isto, a ni znanje nije uporedivo. Ako jednom učeniku postavimo pet, a drugom šest pitanja znanje ove dece nije uporedivo.
Zamislite da se u sportu upoređuju vremena plivača koji su plivali 100 kraul i 200 mešovito. Obe trke su plivačke, ali su discipline različite i stilski i po distanci, te neuporedive vremenski. A ne bi se ni moglo reći da je jedan plivač bolji od drugog.
Osim gorenevedenih problema, još jedan postoji u činjenici da se pri usmenom ispitivanju aktivno promoviše ”prepisivanje” uz svu saglasnost samih nastavnika. Situacije u kojima se jedna te ista pitanja postavljaju učenicima, gde onaj sledeći samo treba da ponovi ono što su prethodni rekli nije ništa drugo nego usmeno prepisivanje. Ovo je na nivou plivačke trke gde je nekome dozvoljeno da pliva sa perajima, a drugima nije, ili skokovima u dalj, gde neko sme da koristi motku, a drugi ne. I na kraju se svi oni takmiče jedan protiv drugog? U sportu nezamislivo, ali u našem obrazovanju modus-operandi.
Sledeće, imamo problem uporedivnosti u pravilu da se test ponavlja samo za određene učenike u slučaju nedovoljne ocene. Zašto ne za sve? Opet se vraćamo na potrebu da svi rade isti test i budu testirani u isto vreme da bi rezultati bili i pravični i uporedivi.
Dodatno, kroz usmeno ocenjivanje se direktno krši Član 2, tačka 6 Pravilnika: “ocenjivanje bez diskriminacije i izdvajanja po bilo kom osnovu“. Ako neko nije prozvan danas (a nema se vremena da svi odgovaraju usmeno u 45 minuta) jer mu prezime ne počinje sa A ili B na primer, onda je ovo i te kako diskriminatorno i izdvajanje po osnovu prezimena. Isto važi za prozivanje za po slobodnoj volji nastavnika gde je osnov nepoznat, ali postoji.
Postojanje dokaza
Sva zvanična testiranja za ocenu treba da budu zasnovane na dokazima. Dokazi podrazumevaju dokaz o postavljenim pitanjima, datim odgovorima, skalama ocenjivanja, dobijenim i/ili oduzetim poenima.
Da li možete da zamislite zvaničnu sportsku utakmicu bez da iko meri vreme trajanja utakmice, bez da se vodi zapisnik o postignutim poenima, faulovima, i sl? Odgovor je – ne. Pa zašto nam je onda prihvatljivo da imamo zvanične provere znanja (usmeni) bez dokaza o postavljenim pitanjima, odgovorima, standardima (bodovnim skalama) po kojima je ocena data? Osim toga usmeni ispiti daju ogroman prostor nastavnom osoblju da zloupotrebljava svoja ovlašćenje upravo zbog nedostatka dokaza.
Rešenje
Iako problemi koje sam navela ovde deluju dosta veliki, oni se u stvari mogu rešiti veoma jednostavno, na zadovoljstvo svih u obrazovanju. Uostalom, ako želimo da imamo objektivno ocenjivanje, ono mora da zadovolji definicije validnosti, pouzdanosti i uporedivnosti.
1. Radite pismene ispite, svi u isto vreme, isti broj pitanja, isti tip pitanja (ako pravite grupe). Jasno i glasno naglasite šta će i kada biti testirano i onda testirajte to, a ne nešto drugo. Bodovna skala mora biti jasno i napismeno objavljena.
2. Za svaki kontrolni imajte primerak koji pokazuje tačne odgovore. Za otvorena pitanja, gde đaci svojim rečima odgovaraju‚ napišite šta su prihvatljivi odgovori. Na primer zato da bi neko dobio maksimalan broj bodova morao je da napiše – pa konkretan i jasan odgovor. Ako je napisao X od toga od toga dobio je X bodova, ako Y, dobio je Y bodova, itd. Ako nije napisao ništa od toga dobio je 0 bodova. Postavite ovo na google učioniocu ili šta god koristite online da i đaci i njihovi roditelji mogu videti.
3. Slučajevi kada i tridest posto, a kamoli pola razreda dobije nedovoljnu ocenu moraju da budu znak uzbune za sve u školi. Ne smeju da se rešavaju samo tako što će se test ponoviti, a nastvnici pitati đake „jeste učili?” Ovo je na nivou trenera koji za poraz krivi igrače i pita ih „jeste li trenirali?“ Apsolutno je potrebno da se traži i odgovornost nastavnika, kao što se traži i odgovornost trenera ili selektora čiji tim postiže loše rezultate.
4. Što se usmenog dela tiče, podstičite učenike da razgovaraju, diskutuju, argumentovano iznose i brane mišljenja. Pitajte ih: šta biste uradili da ste…? Zašto vam se (ne) sviđa…? U kakvoj klimi biste živeli i zašto? Koju od ovih biljki biste voleli ili ne u kući i zašto? i sl. Podelite razred u grupe i održite debatu za/protiv na neku temu. Ovako se razvija kritičko mišljenje uz upotrebu znanja sa časa. Radite ovo kao aktivnost na času, ali ne za ocenu. Mišljenja i stavovi nisu nešto što se može ocenjivati. Možemo se samo slagati ili ne slagati s njima.
5. Ako postoji mogućnost popravljanja ocena, to mora biti ponuđeno svima, na isti način, u isto vreme, pisanim putem, naravno.
7. Pre nekoliko godina sam u jednom tekstu ovde predložila decimalne brojeve kao zaključne ocene iz predmeta. Prosek je decimalan, pa mogu i ocene iz predmeta da budu. To bi dodatno doprinelo objektivnosti ocenjivanja.
Verujem da je gore-navedeno pozitivno za sve aktere u obrazovanju. Testiranja će biti i validna i daleko pouzdanija, a i pravična, pa samim tim i uporediva na nivou razreda. Uz to svi će imati crno na belo sve potrebne dokaze, pa će i rodilelji imati daleko manje razloga za kritike. Apsolutno verujem da je ovo u najboljem interesu nastavnika i predstavlja zaštitu od (u trenutnoj situaciji veoma validnih) kritika na račun ocenjivanja. Zaista win-win za sve.
Autor: Lidija Smirnov, pedagog i prof. engleskog jezika