PISA, de wereldverbeteraar

Waarover gaat het?

Nu het stof van de doemberichten bij het begin van het schooljaar wat is gaan liggen, is het misschien goed om eens afstandelijk ernaar te kijken. Opvallend bij de meeste van deze boodschappen was de prominente plaats die er te vinden was over onze internationale situatie, die dan gemeten werd op basis van de PISA toetsen. Nu is het zonder meer bedenkelijk de kwaliteit van een uitermate complex onderwijssysteem weer te geven door als maatstaf drie cijfers op drie toetsen te nemen. Nog bedenkelijker is dat er op die basis rangschikkingen van landen worden gemaakt, die totaal niet met elkaar vergelijkbaar zijn. Je zou kunnen stellen dat de prestaties op dergelijke toetsen zeer sterk bepaald worden door de cultuur van een land, de geschiedenis ervan, de geografische context en het onderwijssysteem waarin de ondervraagde inhouden zitten. Nochtans was enige kritische zin hieromtrent ver te zoeken.

Wat is PISA?

Pisa is een driejaarlijkse toets, georganiseerd door de OESO, een bij uitstek economische organisatie, om op basis van gemeenschappelijke toetsen te peilen naar de kwaliteit van onderwijssystemen en die dan te vergelijken. Dat is een erg ambitieuze doelstelling waarvoor kosten noch moeite gespaard worden. De driejaarlijkse afname van die toetsen wordt begeleid door een strikt geoliede machine, uitmondend in een soort driejaarlijkse hoogmis met een soort zegen urbi et orbi eraan verbonden. Na een dergelijke afkondiging vind je in de hele wereld dezelfde samenvattingen en dezelfde geprefabriceerde sheets met diagrammen, wolkendiagrammen en dergelijke. Kortom, gesneden brood en zeer aanlokkelijk voor economen, die gewoon zijn om te vergelijken via bbp en allerlei economische indicatoren. Voor economen is het logisch dat je de zichtbare indicator ‘geld’, ‘geldverschuivingen’, ‘geldtransacties’   kan vervangen door punten op toetsen. Via die weg belanden de resultaten bij politici, die wel regelmatig economische publicaties te verwerken krijgen, maar nauwelijks pedagogische. De verleiding wordt dan groot om met allerlei correlaties het verband aan te tonen tussen economische indicatoren (bijvoorbeeld bbp) en de resultaten op de wereldwijde toetsen.

Helaas, was het maar zo eenvoudig. Punten zijn namelijk steeds vereenvoudigingen van een menselijk gedrag, zijnde in dit geval een antwoord op gestelde vragen. Probleem is echter dat we in de menswetenschappen niet beschikken over natuurwetenschappelijke schalen zoals afmetingen, graden, frequenties, ampères, voltages en noem verder maar op. Om gemakkelijk te kunnen tellen, moet je dus schoolprestaties uitdrukken in cijfers. Zo ga je er bijvoorbeeld gemakshalve van uit dat je op iedere meerkeuzevraag één punt zet, waarbij je stelt dat ieder beantwoorde vraag dezelfde waarde heeft. Dat is in de realiteit natuurlijk niet zo. Bekijk het concreet: leraar X vindt dat je op een bepaalde vraag 6 punten moet zetten, leraar Y houdt het bij 10 en leraar Z houdt het bij 3.

Een gevaarlijke evolutie: ‘worldwide standards’

De OESO is ambitieus en stelt in feite dat zij de heilige graal in handen heeft om te bepalen wanneer een land goed presteert op alle fronten, wanneer het goed scoort op de PISA toetsen wiskunde, natuurwetenschappen en lezen. Dat is erg gevaarlijk, want niemand kan bewijzen dat de gestelde vragen overeenkomen met wat in een land precies aan de orde is. Of waar men in dat land belang aan hecht of onder welke contexten men daar die inhouden vooropstelt. Dat is wat men in het jargon de validiteit van een toets noemt. Je kan even goed een andere toets maken, die je in alle landen afneemt. Het enige duidelijke is, dat ieder land dezelfde toets krijgt. Of die toets past bij wat daar leeft, is een andere en bediscussieerbare kwestie.

Gevaarlijk is ook het eindeloos correleren van uitslagen met bijvoorbeeld antwoorden op vragenlijsten, waarbij men vaak vergeet dat die correlaties meestal geen oorzakelijk verband aanduiden. Maar niet geïnformeerde leken en vooral op sensatie gerichte media zullen dat wel doen. De verregaande stellingen dat er een duidelijk verband bestaat tussen het presteren op die toetsen en economische situaties en welvaart zijn zelfs beangstigend.  Het gezond verstand zegt natuurlijk, dat als je meer geld stopt in het onderwijs, de kans ook groter is dat je betere resultaten krijgt. De omgekeerde weg is niet zomaar bewijsbaar.  Verbanden tussen kwaliteitsindicatoren van een onderwijs en economische factoren zijn zeer complex en contextgebonden. Daarom zullen bijvoorbeeld ontwikkelingslanden nooit beter presteren dan rijke landen, tenzij ze van hun onderwijs een teaching-to-the-PISA maken.

Dan moet er verder nog gekeken worden naar de methodologische moeilijkheden die zich voordoen om een dergelijke grootschalige toets te ontwerpen.  Dat is al niet gemakkelijk voor een toets binnen één land. Wanneer je dat doet voor een groep landen, worden dat moeilijkheden in het kwadraat.

Wat kunnen we er wel mee doen?

Het is te kort door de bocht om te stellen dat dergelijke toetsen geen nut hebben. Doordat men op systematische wijze achtergrondgegevens bij leerlingen en directies verzamelt, kan je een zeer rijke bron van data verkrijgen. Die data kan je relateren aan de toets in kwestie (zelfs als die niet valide is). En zo kan je interessante tendensen op het spoor komen. Omdat de data ter beschikking staan, kunnen er allerlei deelanalyses worden gemaakt. Bijvoorbeeld de verschillen tussen leerlingen met een migratieachtergrond en autochtone. Of verschillen tussen hoog-en laagpresteerders. Alleen moet je dan de interpretatie over laten aan de experten, die het plaatselijke onderwijs in zijn context, geschiedenis en cultuur kennen.

Alleen heeft het geen zin om rankings van landen te maken. Een onderwijssysteem moet worden afgerekend op de doelen die in dat onderwijssysteem vooropstaan. In ons land zijn dat de eindtermen. Daarover bestaan er al sinds 2002 jaarlijks een of twee peilingsproeven. Maar daar lees je nauwelijks iets over in de media.

Bronnen

Koretz, D. (2017). The testing charade. Pretending to make schools better.  Chicago, Th University of Chicago Press, 275 blz.

Meyer, H. & Benavot, A. (Eds) (2013). Pisa, power and policy.  Oxford, Symposium Books,  355 blz

OECD (2016). PISA 2015 results. Vol. I.  Excellence and equity in education. Paris: OECD, 492 blz.

OECD (2016). PISA 2015 results. Vol. II. Policies and practices for succesful schools. Paris: OESO,  468 blz.

Smith, W.C. (Ed.) (2016).  The global testing culture shaping education policy. Oxford, Symposium Books, 302 blz.

Standaert, R. (2014). De becijferde school.  Meetcultus en meetcultuur. Leuven: Acco,  283 blz.

Standaert, R. (2018). PISA obesitas kan je gezondheid schaden. Impuls, 48, n° 3, 104 – 111.

Een nummer bestellen of een abonnement nemen?

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s