PISA istraživanje realizuje se već više od 20 godina, a i dalje se pojavljuju tumačenja
rezultata koja istraživačima zadaju glavobolju. Fenomeni u obrazovanju rezultat su
uticaja brojnih faktora (lične karakteristike učenika, porodica, vršnjaci, škola,
kultura…), što komplikuje njihovo razumevanje i samim naučnicima. Zato nije iznenađujuće da se u vezi sa PISA nalazima, koje dodatno usložnjava međunarodna dimenzija ovog programa, pojavljuju neispravne interperacije. U ovom tekstu istaći ćemo neke od mitova u vezi sa značenjem PISA nalaza iz kojih proizilaze greške u
tumačenju koje se često pojavljuju u javnom prostoru.
MIT 1: PISA rezultati mere efekat srednje škole koju učenici koji su učestvovali pohađaju.
PISA istraživanje obuhvata učenike uzrasta 15 godina, a realizuje se tokom proleća
(mart-april). Oko 85% ove grupe učenika u trenutku testiranja pohađa prvi razred
srednje škole i u datoj školi provelo je nešto više od jednog polugodišta (oko 15%
uzorka nalazi se u drugom razredu srednje škole). Sa druge strane, predmet ovog istraživanja su nivoi pismenosti koji se izgrađuju godinama, a ne nekoliko meseci.
Zbog toga nije ispravno pripisati postignuće učenika efektima rada srednje škole. Visoka i niska prosečna postignuća učenika nekih srednjih škola posledica su sklonosti učenika različitog uspeha da se grupišu u određenim školama pri upisu u srednje obrazovanje (npr. veoma uspešni učenici češće upisuju gimnazije).
MIT 2: PISA rezultati za Srbiju ne mogu biti tačni, jer naši učenici osvajaju medalje na međunarodnim takmičenjima.
Ili: Loš rezultat znači da nemamo učenike koji postižu dobar rezultat.
Neispravno je dovoditi u pitanje pouzdanost PISA rezultata za Srbiju na osnovu informacija o tome da učenici iz Srbije postižu uspehe na međunarodnim takmičenjima. To je kao kad bismo tvrdili da su škole tenisa u Srbiji najbolje na osnovu toga što Novak Đoković postiže izuzetne rezultate. Na međunarodna takmičenja odlaze najbolji učenici, dok podatak o postignuću jedne zemlje pokazuje postignuće reprezentativnog uzorka i govori o prosečnom učeniku. Druge vrste nalaza koje PISA izveštaj sadrži otkrivaju i zastupljenost učenika na različitim nivoima postignuća.
Među učenicima iz Srbije, najviše nivoe postignuća (nivoi 5 i 6) iz matematike ostvaruje 4% učenika (OECD prosek je 9%), a iz čitanja i nauke 2% (OECD prosek za ove dve oblasti je 7%). Nažalost ovi nalazi pokazuju da je zastupljenost ovih učenika u Srbiji mnogo manja nego što je prosek u PISA istraživanju, pa čak i u poređenju sa zemljama sličnim Srbiji. Ipak, nalazi pokazuju da i ovi učenici postoje u srpskim školama, te nije opravdano ni ono tumačenje po kom ovih učenika uopšte nema.
MIT 3: Visok nivo funkcionalno nepismenih znači da učenici ne znaju da pišu, odnosno ne poznaju dobro pravopis.
PISA istraživanje ne meri ovladavanje školskim programom na nivou činjeničnog znanja, već razvijenost kompetencija u domenu čitanja, matematike i nauke, neophodnih za aktivno i produktivno učešće u savremenom društvu. Stoga nivoi “pismenosti” na koje ukazuju PISA rezultati ne govore o poznavanju pravopisa, već ukazuju na druge oblike pismenosti. Čitalačka pismenost je kapacitet učenika da razume, upotrebi, razmišlja i angažuje se na pisanim tekstovima. Matematička pismenost se odnosi na kapacitet učenika da primeni matematičke veštine, procedure i koncepte na raznovrsne situacije iz svakodnevnog života. Naučna pismenost podrazumeva spremnost učenika da se upusti u racionalnu debatu o naučnim i tehnološkim temama i zahteva kompetencije za naučno objašnjavanje pojava, procenu i dizajniranje naučnih ogleda i za naučno tumačenje podataka i dokaza.
MIT 4: Dobar rezultat u PISA istraživanju postižu samo učenici iz najbogatijih zemalja.
Iako prost pregled prikaza rezultata za svaku zemlju navodi da zaključak da je postignuće bolje u bogatijim zemljama i obrnuto, PISA izveštaj obuhvata i složenije analize koje daju više informacija. Takve analize pokazuju da je postignuće učenika povezano sa količinom sredstava koja se izdvajaju za obrazovanje. Međutim, analize pokazuju i da je u nekim zemljama uspeh učenika ispod onog koji bi bio očekivan na osnovu ulaganja, kao i da je u nekim zemljama, među kojima je i Srbija, uspeh veći od onog koji bi se očekivao na osnovu ulaganja.
MIT 5: PISA istraživanje služi samo za poređenje zemalja.
Tokom PISA testiranja učenici rešavaju zadatke iz tri PISA domena (čitanje, matematika i nauka), ali popunjavaju i upitnik koji sadrži brojna pitanja o učeniku i školi. Osim toga, podaci se prikupljaju i od škola koje su obuhvaćene uzorkom, a uzimaju se i sistemski podaci o celokupnom obrazovnom sistemu, kao što su podaci o ulaganjima iz tačke iznad. Na osnovu svih ovih podataka rade se brojne analize koje pokazuju povezanost različitih faktora, dobre prakse i smernice za donosioce odluka, te PISA istraživanje ima mnogo širu namenu od pukog poređenja zemalja.
MIT 6: Rang zemlje na listi postignuća pokazuje koliko je njen obrazovni sistem dobar u odnosu na ostale.
Na osnovu rezultata koji se dobijaju na uzorku učenika, PISA procenjuje koliko bi bilo postignuće čitave populacije učenika u datoj zemlji. Da bi bile precizne, takve procene se statistički izražavaju uz takozvani interval poverenja. Na primer, postignuće učenika iz Srbije iz matematike na uzorku učenika iznosilo je 440, a interval poverenja za celu populaciju je između 437 i 443. Dodatno, uzimaju se u obzir i razlike između učenika, minimalna i maksimalna postignuća, zbog kojih se intervali poverenja različitih zemalja često i preklapaju. Kada na ovaj precizniji i nešto komplikovaniji način prisupimo rezultatima, smislenije je posmatrati grupe zemalja koje dele slično postignuće, nego ih rangirati na listi na kojoj se susedni rangovi zapravo ne razlikuju. Drugim rečima, PISA nije fudbalsko takmičenje – neretko su zemlje koje imaju sličan rezultat zapravo podjednako uspešne.
MIT 7: Pomeranje zemlje na listi ukazuje na pogoršanje ili napredak u obrazovanju.
Promena ranga neke zemlje između PISA ciklusa ne ukazuje nužno na poboljšanje ili
pogoršanje postignuća ili unapređenje/pogoršanje kvaliteta obrazovanja u datoj zemlji.
Osim što treba uzeti u obzir ograničenja tumačenja rangiranja zemalja navedena u prethodnoj tački, potrebno je imati na umu i kontekstualni apsekt takve rang liste. Naime, rang jedne zemlje može menjati čak i ako su njena postignuća istovetna kao u prethodnom ciklusu, ali se postignuća nekih drugih zemalja poboljšavaju ili pogoršavaju ili ako se menja skup zemalja koje učestvuju, npr. neke zemlje preskoče pojedine cikluse ili, što se češće dešava, nove zemlje se uključe u program.
Autorke: Katarina Mićić, Marina Videnović, Barbara Blažanin i Gordana Čaprić, Autorski tim za nacionalno izveštavanje za PISA 2022.