Citotoetsen waren nooit bedoeld als wedstrijd tussen concurrerende scholen

Het publiceren van Cito-scores van basisscholen zoals RTL-Nieuws heeft gedaan op 14 september 2013, vindt Dick van der Wateren niet zo’n goed idee. RTL Nieuws heeft samen met professor Jaap Dronkers van de Universiteit van Maastricht een methode ontwikkeld om de eindtoetsscores van basisscholen te vergelijken. Iedere school kreeg een rapportcijfer. Op de site RTL Nieuws kun je de scores van de scholen vergelijken.
Openbaarmaking kan negatieve gevolgen hebben voor het onderwijs en dat is precies het tegendeel van wat staatssecretaris Dekker beoogde met het vrijgeven van de Cito-cijfers.

De Eindtoets basisonderwijs van Cito, meestal Citotoets genoemd, is een toets voor leerlingen in groep 8 van de basisschool. Scholen zijn niet verplicht deze eindtoets af te nemen. De Citotoets meet de kennis op het gebied van de Nederlandse taal, rekenen/wiskunde, studievaardigheden en wereldoriëntatie. Het onderdeel wereldoriëntatie is niet verplicht.
De uitslag van de Citotoets helpt bij het kiezen van een school voor voortgezet onderwijs.

Op de site van de Onderwijscoöperatie schreef Van de Wateren in zijn blog^*) dat het openbaar maken van de resultaten van leerlingen op het eerste gezicht een verstandige beleidsmaatregel lijkt.
“De samenleving, de overheid, belastingbetalers en ouders hebben er recht op te weten welke scholen goed functioneren en welke niet. Het is echter de vraag of ranglijsten als die dit weekend door RTL en afgelopen jaren in Trouw en de Volkskrant zijn gepubliceerd, de juiste manier zijn. Het gaat hierbij om de schoolcijferlijsten van Jaap Dronkers.

Voor het boek Het Alternatief onder redactie van René Kneyber en Jelmer Evers, dat op 8 oktober op het Lerarencongres wordt gepresenteerd^**), schreef ik het hoofdstuk ‘Zin en onzin van testen, vergelijken en afrekenen’. Daar ga ik, gedetailleerder dan ik hier kan, in op de vraag waarom scholenlijstjes onzin zijn en waarom methoden om de toegevoegde waarde van docenten en scholen te meten nog te onbetrouwbaar zijn om daarop beleid te baseren. Hier kort de belangrijkste punten.

Staatssecretaris Dekker verwacht veel (teveel) van de publicatie van de Cito-cijfers. Vaak horen we het argument dat toenmalig wethouder Asscher in Amsterdam daarmee de kwaliteit van Amsterdamse scholen vooruit geholpen heeft. Dat is nog maar de vraag. Het is opvallend dat in het koor van voorstanders van het publiceren van Cito- en examencijfers vooral de bestuurders en de managers het hardste zingen. De man en de vrouw in de klas worden daarbij geheel overstemd. Maar die zijn toch bij uitstek de deskundigen, die direct de gevolgen van scholenlijstjes in hun praktijk ervaren. Druk van boven om hogere cijfers te scoren, ‘teaching to the test’ en daardoor verschraling van het onderwijs, regelrechte fraude, het zijn maar een paar van die gevolgen. Dekker is duidelijk optimistischer dan wij juffen en meesters over die gevolgen.

Wat het allemaal nog erger maakt is dat de methoden om die scholencijfers te berekenen allesbehalve betrouwbaar zijn. Dat zeg niet ik, maar de statistische experts, die verantwoordelijk zijn voor de ontwikkeling van standaardtests en methoden om toegevoegde waarde van scholen en docenten te meten. Daniel Koretz is een daarvan en in zijn goed leesbare boek ‘Measuring Up’ legt hij de statistiek achter die methoden uit. Daaruit – en uit tal van publicaties door collega’s van Koretz – blijkt dat die methoden weliswaar statistisch geavanceerd zijn (en voor een gewoon mens niet te volgen) maar zeer tegenstrijdige resultaten kunnen opleveren. Het bepalen van de toegevoegde waarde van een docent blijkt sterk afhankelijk te zijn van het gebruikte model. 9% van de leraren, die door de ene methode als beste worden beoordeeld, worden door de andere, even redelijke methode tot de slechtste gerekend.

Wat voor docenten geldt, geldt ook voor scholen. Aan de berekening van de toegevoegde waarde van scholen door Dronkers liggen allerlei arbitraire keuzes ten grondslag. Statistisch is het allemaal piekfijn in orde, maar de keuze om de ene factor zwaarder te laten wegen dan de andere beïnvloedt de uitkomst. Voor mijn analyse van de schoolcijfers voor middelbare scholen, zoals die jaarlijks in De Volkskrant worden gepubliceerd, heb ik een aantal willekeurige scholen over een periode van zeven jaar gevolgd. Daaruit blijkt dat de cijfers vaak wild op en neer gaan, van een 3 (soms zelfs 2) naar een 6 en dan weer omlaag. Ook tussen de verschillende afdelingen van dezelfde school komen grote verschillen voor en waar de havo in een jaar van onvoldoende naar ruim voldoende kan springen, kan dat voor het vwo in hetzelfde jaar precies omgekeerd gaan. De kwaliteit van een school kan niet in één jaar tijd van heel slecht naar heel goed gaan en vervolgens weer omlaag. Daarbij moeten andere factoren en vooral het toeval een grote rol spelen.

Uiteindelijk, wanneer je alle factoren weglaat die niet direct met de kwaliteit van het onderwijs te maken hebben, blijken de verschillen tussen scholen heel klein te zijn. De Britse onderzoeker Dylan Wiliam (2012) durft zelfs de stelling aan dat er geen ‘goede’ of ‘slechte’ scholen zijn. Het succes van leerlingen hangt vooral af van de sociaal-economische achtergrond van de ouders. Cito (2013) zelf noemt publicatie van die ranglijsten onzin. De scores worden teveel bepaald door het toeval om een betrouwbare maat te zin voor de kwaliteit van een school. De Cito-toetsen zijn hier ook nooit voor bedoeld. Die zijn ontwikkeld als hulpmiddel voor scholen en docenten om de vorderingen van hun leerlingen bij te houden. Niet als wedstrijd tussen concurrerende scholen.

Scholenlijstjes publiceren is in de eerste plaats een poging van de overheid om greep te krijgen op de kwaliteit van het onderwijs, om te controleren wat niet te controleren is. Onderwijs is veel meer dan alleen scores op een eindtoets of cijfers voor het eindexamen. Beter zou zijn – en daarover schrijven we in Het Alternatief – de verantwoordelijkheid voor de kwaliteit te leggen bij de onderwijsprofessionals zelf. Daarover zeg ik in ‘Het Alternatief’:

[Het is] van belang dat docenten eigenaar worden van de kwaliteitsbewaking in het onderwijs. Hierbij kan men denken aan: collegiale intervisie, feedback van ervaren docenten en schoolleiders, bijscholing, beoordeling van docenten door leerlingen, samenwerking binnen scholen en van scholen onderling, visitatie zoals bij universiteiten, een lerarenraad (naar het voorbeeld van de Koninklijke Notariële Beroepsorganisatie en andere geregistreerde beroepen) en een ombudspersoon.

Zo komt de expertise van iedereen die bij het onderwijs betrokken is optimaal tot zijn recht en draagt bij aan verbetering van de kwaliteit ervan. Simpel testen, vergelijken en afrekenen leidt onherroepelijk tot rampen.

Dat is de boodschap die alle auteurs van Het Alternatief in verschillende bewoordingen brengen: “In plaats van te kijken naar resultaten moeten we gaan sturen op vakmanschap en vertrouwen.”

Bronnen

S. van Alphen en Jaap Dronkers, Trouw schoolprestaties 2010, 2011, 1-19. http://www.schoolcijferlijst.nl/RESULTATEN 2010.htm (Website bestaat niet meer)

Cito, 2013. ‘De onzin van rangordelijstjes op basis van de Citotoets’. Arnhem: Cito. www.cito.nl (Niet meer beschikbaar op site van Cito)

Daniel Koretz, 2008. Measuring Up: What Educational Testing Really Tells Us. Cambridge, MA: Harvard University Press, 353 pp.

Dick van der Wateren, 2013. Zin en onzin van testen, vergelijken en afrekenen. In: René Kneyber en Jelmer Evers, red. Het alternatief – Weg met de afrekencultuur in het onderwijs! Amsterdam. Uitg. Boom. Verschijnt 8 oktober 2013.

Dylan Wiliam, 2012. Are there “Good” schools and “Bad” schools? In: Adey P, Dillon J, eds. Bad Education – Debunking Myths in Education. Maidenhead, UK: Open University Press: 3–15.

^*) Blog van Dick van der Wateren: RTL, Cito en de Dronkerslijstjes, 16 september 2013 op site van Onderwijscoöperatie: www.onderwijscooperatie.nl (Website is opgeheven).
Zie ‘Goede en slechte scholen: zin en onzin van testen, vergelijken en afrekenen’, door Dick van der Wateren, NIVOZ, 16 september 2013: https://nivoz.nl

^**) Op 8 oktober 2013, tijdens het Lerarencongres van de Onderwijscoöperatie in Ede, is de presentatie van het boek Het alternatief – Weg met de afrekencultuur in het onderwijs, onder redactie van René Kneyber en Jelmer Evers. Zie: https://beroepseer.nl/het-alternatief/