Hoe manipuleer je een enquête? Alleen voor 18+

Duizenden mensen zijn overleden na het eten van vergiftigde worsten. Er komt een groot onderzoek. De opdracht luidt:

«Hoe kan het dat deze perfect voor consumptie geschikte worsten duizenden doden hebben opgeleverd.»

De slager mag zelf het onderzoek uitvoeren. Hij pakt het grondig aan en stelt een messcherpe vragenlijst op:

Vraag 1       Eten mensen de laatste jaren minder met mes en vork?
Vraag 2       Hebben mensen servetten gebruikt en vooraf hun handen gewassen?

Dit was de conclusie van het gedegen onderzoek: Mensen hebben hun dood verdiend want ze hadden ook gewoon met mes en vork kunnen eten en fatsoenlijk hun mond kunnen afvegen met gewassen handen. Aan de worsten kan het niet gelegen hebben, die waren immers perfect voor consumptie geschikt.

Over de eindexamens Frans is alles wel gezegd; ze zijn voor een pijnlijk deel gevuld met vragen die niet kloppen, kandidaten zakken op ondeugdelijke antwoorden, docenten moeten goede antwoorden fout rekenen, ondubbelzinnige fouten worden niet of niet tijdig gecorrigeerd en Franstaligen kunnen al jaren geen 10 meer halen. Dan kunnen we het nog hebben over gedoe met normeringen, de non-sense eis die zou maken dat een examen altijd vergelijkbaar zou moeten zijn met een ijkjaar, dat 2e en 1e tijdvakken dezelfde normering krijgen terwijl het andere examens zijn en dus met een beetje boerenverstand anders beoordeeld zouden moeten worden, de willekeur tussen de open vragen die iedere docent anders beoordeelt en de Vakvereniging Levende Talen, die tegen de expliciete wens van het Ministerie weigert de examenverslagen te delen met alle docenten opdat iedereen een klein beetje op één lijn kan zitten. Alles is gezegd en eigenlijk is er genoeg aandacht voor de problemen geweest.

Een vertrouwenskwestie

Weten de examenmakers dat er fouten in hun werk zitten? Jawel, dat weten ze al jaren, ze doen er bijna alles aan om die te voorkomen. Ze hebben pre-testen, post-testen, ze nemen voor het examen Frans geen uit het Duits vertaalde teksten meer, ze laten de teksten vaker intact, ze veranderen minder uitroeptekens in vraagtekens wat teksten absoluut onbegrijpelijk maakte, het enige dat ze weigeren te doen is het examen in haar geheel te laten maken door degelijke docenten die vooraf een rode pen mogen gebruiken. Het zal een vertrouwenskwestie zijn.

Het College voor Toetsen en Examens (CvTE) heeft een nieuwe sectordirecteur Havo/Vwo, Jacob Raap; hij deugt. Hij wil goeie examens. Iedereen die hem spreekt zegt na dat gesprek: «Joh! Frisse wind door CvTE, die nieuwe wil écht goeie examens!»  Er is een nieuwe oppergod verantwoordelijk voor het eindproduct, mijn oude professor. Hij deugt ook maar het helpt allemaal niet. Minister Slob heeft een onderzoek aangekondigd naar Frans  https://www.examenblad.nl/nieuws/20190923/onderzoek-en-enquete-duits-en/2020?regime=hflinks&horizon= (Niet meer beschikbaar op site Examenblad)
(en Duits maar daar weet ik niks van) en een belangrijk onderdeel van dat onderzoek dat HET CvTE uitvoert op verzoek van het ministerie van OCW is een enquête. Ik ben er zo één en ik kon niet wachten. Ik weet heel precies wat er mis is met die examens, kom maar op!

«Het CvTE signaleert dat bij het centraal examen Frans en Duits havo er zich, ondanks dat het op zich valide examens betreft, er een te groot verschil is ontstaan (in negatieve zin) tussen de vaardigheid van de leerlingen en de vaardigheid die nodig is voor het behalen van een voldoende bij die examens. Het resulteert voor de genoemde examens in een situatie waarbij er elk jaar een grote groep leerlingen lage cijfers haalt. Het gemiddeld cijfer voor deze vakken is structureel lager dan voor andere vakken. Dit vind ik een onwenselijke situatie voor zowel de leerlingen als voor de positie van deze vakken. Het CvTE geeft aan dat het handhaven van de huidige cesuur voor Frans en Duits havo op de langere termijn niet reëel is. In voorkomende gevallen is het aan het CvTE om te komen tot een analyse van de mogelijkheid en wenselijkheid om de eisen aan de veranderde vaardigheid van de kandidaten aan te passen. En om te onderzoeken wat de mogelijke oorzaak hiervan kan zijn.» https://duits.levendetalen.nl/wp-content/uploads/sites/2/2019/01/190116-Fragmenten-uit-de-Kamerbrief-van-A-Slob.pdf (niet meer beschikbaar op site van Levende talen)

De minister die in zijn Kamerbrief benadrukt dat de examens valide zijn… Hoe komt zo’n zin in die brief? Doodvermoeiend dit. Hiermee sluit de minister zelf dus al uit dat het aan de examens kan liggen en is het onderzoek feitelijk morsdood. Valide betekent namelijk iets als in orde, oké, niks meer mee doen, geldig, puik, toppie, fijn… Kortom, daar kan het niet aan liggen. Feestje gewoon, helemaal happy.

En toen las ik de vragen. In grote lijnen werd er gevraagd of het klopte dat de jeugd van tegenwoordig steeds minder in contact komt met de Franse taal en dat ze veel minder les hebben gekregen…

Née dat is het probleem! Natuurlijk! Dat ik daar niet eerder zelf op gekomen ben… De examens ratelen van de meest stupide fouten, ik weet soms écht niet welk antwoord “goed” is (wat het dan niet is) maar als het CvTE desgevraagd haar eigen vlees moet keuren dan leggen we de schuld bij… de kinderen! Zij komen niet vaak genoeg in Frankrijk, ze kijken niet genoeg Franse tv, luisteren niet genoeg Franse radio, ja logisch dat die examencijfers zo teruglopen! Ja, en dat ze veel minder les hebben gehad helpt natuurlijk ook niet.

Met de examens is niets mis. Het heeft helemaal niks met alle fouten in de examens te maken. De enquête is briljant opgesteld. Je kunt nauwelijks je eigen opmerkingen kwijt en je moet antwoord geven op straatschoonvegende vragen die nooit als resultaat kunnen hebben dat het CvTE de problemen moet erkennen.

Dit hadden de vragen moeten zijn:

• Denkt u dat eindexamens fouten mogen hebben?
• Denkt u dat eindexamens kloppende antwoorden moet hebben?
• Denkt u dat eindexamens beter te maken zijn als de vragen en de antwoorden juist zijn?
• Denkt u dat het eindexamen Frans voor Franstaligen foutloos maakbaar zou moeten zijn?
• Denkt u dat eindexamens een normering moeten hebben die gaat over DAT eindexamen of liever over de normering van een ijkjaar (2013)
• Denkt u dat een eindexamen en een herexamen dezelfde normering moeten hebben ook als de niveaus totaal onvergelijkbaar zijn?
• Denkt u dat een normering onder een 1 standaard minpunten geeft aan de kandidaten en dat de N gewoon altijd 1 moet zijn en dat van die regel uitsluitend afgeweken mag worden per ministeriële ingreep?
• Denkt u dat het zou helpen als de eindexamens allemaal op dezelfde manier werden nagekeken op basis van hetzelfde eindexamenverslag?

De feiten

Hieronder een verhelderend stukje Excel van de site van de immer briljant degelijke Arjan van der Meij https://ntermen.nl/

Dit is het percentage onvoldoendes per jaar bij HAVO Frans:

Dit is de normering per jaar bij HAVO Frans:

bij 0 heeft iedereen een heel strafpunt gekregen, bij 1 is de normering normaal, bij alles boven 1 heeft iedereen een beetje compensatie gekregen. Er zijn heel ingewikkelde compensatiesystemen aan de basis van dit systeem maar om te voorkomen dat niemand een 10 kan halen is het cijferschema eerlijk gemaakt. Zonder zou je bij N-term 0 maximaal een 9 kunnen halen en bij N-term 2 een 11. Dat is overigens aangepast. Niemand kan een 11 halen en niemand kan met nul fout een 9 halen. Dat is goed, veel en vaak uitgelegd door het CvTE en dat klopt op zich.

Hier is mooi zichtbaar hoe er vooral strafpunten worden uitgedeeld bij Frans HAVO. In 2011 haalde 43 procent van alle kinderen een onvoldoende en kreeg honderd procent van alle leerlingen 0.7 strafpunten:

Iemand heeft dat dus een goed idee gevonden… Laten we bijna iedereen zoveel strafpunten geven dat bijna de helft onvoldoende haalt! Excellent! Komen wij dan in de problemen? Nee want gemiddeld haalt iedereen net als ieder jaar een 5,8 en dat moet van Den Haag! Maar was het dan een superslecht examen? Welnee! We hebben toch gemiddeld een 5,8. Was die normering gewoon 1 geweest dan was het landelijk gemiddeld een 6,5 geweest… Wedden dat bijna niemand dan een onvoldoende had gehad? Wedden dat heel veel kandidaten dan niet waren gezakt op compensatiepunten? Wedden?

Dit zijn de gemiddelde cijfers voor HAVO Frans:

Zie hoe keurig we om de 6 dansen, het maakt niet uit, een goed examen een slecht examen, gemiddeld komt iedereen gewoon uit op de 6. Volgens het CvTE moet dat van Den Haag, zo maken ze geen slachtoffers en is de norm gerespecteerd. Ik zie een dikke uitzondering in 2000, kort na de invoering van de Tweede Fase. Toen zaten we bijna op de 7. Dit gebeurde bij VWO in 2016. Daarop volgde een brief waarin stond dat, en ik citeer:

«Het hoge gemiddelde cijfer voor het centraal examen Frans vwo 2016 betekent dus niet dat er sprake is van een grote vaardigheidsstijging van kandidaten Frans vwo. Als we met dit examen gelijke eisen hadden kunnen stellen, dan hadden kandidaten Frans vwo gemiddeld een cijferpunt lager gescoord. Met de centrale examens Frans havo en vwo 2016 is geen kandidaat benadeeld. De beschreven situatie bij Frans is echter niet wenselijk. De eerste gesprekken over maatregelen om dit voor de toekomst te voorkomen, zijn in dit kader inmiddels met deskundigen van het CvTE en Cito gevoerd.»

Freya Martin

clustermanager talen havo/vwo

College voor Toetsen en Examens

Ik heb zelden een meer perverse brief gelezen en dit is een officieel stuk van het CvTE… Koude rillingen krijg ik ervan.

Dit is het overkoepelende overzicht:

Eerst het landelijk gemiddelde cijfer HAVO Frans gevolgd door het landelijk gemiddeld aantal onvoldoendes en de bijbehorende normering

Dit is de vragenlijst die ervaren docenten konden invullen over het examen HAVO Frans. Ik heb er een hoop lucht uitgehaald, de herhalingen, de multiple-choice opties etc… maar van de substantie heb ik niets afgedaan.

Vragenlijst over de prestatie-eis van Frans havo

1       Heeft u de afgelopen jaren Frans gegeven aan leerlingen in klas 4 en/of 5 havo?

Een leerling leert Frans door de lessen op school, door andere schoolgebonden activiteiten en door niet-schoolse activiteiten. Onder deze drie aspecten verstaan we het volgende:

  –    Onder de andere schoolgebonden activiteiten van de school verstaan we bijvoorbeeld excursies, keuzewerktijd, taaldorp, bijles of facultatieve lessen op school etc.

    –    Onder de niet-schoolse activiteiten verstaan we activiteiten van leerlingen volledig buiten school om. Hieronder vallen bijvoorbeeld het kijken van Franstalige tv, het vrijwillig surfen op internet op Franstalige websites, het naar Frankrijk op vakantie gaan etc.

–    Onder lessen verstaan we het aantal klokuren dat de leerling les heeft gehad van een vakdocent. We zijn in dit onderzoek alleen geïnteresseerd in de lestijd (dus zonder huiswerk etc).

We zijn niet alleen geïnteresseerd in de invloed van deze drie aspecten op de ontwikkeling van de taalvaardigheid van leerlingen, maar ook in een eventuele verandering van de invloed op de taalontwikkeling gedurende de afgelopen 30 jaar.

2       Hoe heeft de invloed van de andere schoolgebonden activiteiten op de vaardigheidsontwikkeling van leerlingen in het vak Frans zich in de afgelopen 30 jaar ontwikkeld?*

3       Hoe heeft de invloed van de niet-schoolse activiteiten op de vaardigheidsontwikkeling van leerlingen in het vak Frans zich in de afgelopen 30 jaar ontwikkeld?*

Prestatie-eis

Met de prestatie-eis bedoelen we de vaardigheid die nodig is om een voldoende te halen op het centraal examen. Of in andere woorden: De prestatie-eis is de combinatie van de moeilijkheid van het examen en de daarbij vastgestelde N-term.

Handhaven van de norm

Het CvTE heeft van het ministerie van OCW de opdracht ervoor te zorgen dat over de jaren heen de prestatie-eis gelijk blijft. In andere woorden: Het CvTE moet de norm handhaven. Dat betekent dat als de vaardigheid van de leerlingen terugloopt, ook het gemiddelde cijfer op het centraal examen zal teruglopen. Op dit moment is het gemiddeld cijfer voor Frans havo lager dan voor andere vakken, ondanks de inspanningen van de docenten in de huidige situatie. Al enige tijd haalt een relatief groot aantal leerlingen een onvoldoende.

4       Wat vindt u dat er moet gebeuren met de norm?

5       Het gemiddelde cijfer voor Frans havo in 2019 was 5,8. Welk gemiddeld cijfer had u passend gevonden?*

6       Kunt u het antwoord op de vorige vraag hier kort toelichten?

7       Hierboven wordt aangegeven dat het gemiddeld cijfer kan veranderen door de norm aan te passen of doordat de vaardigheid van de leerlingen stijgt. Welke oplossingen ziet u voor de huidige situatie?

8       Wat is de totale lestijd voor Frans havo op uw school exclusief de facultatieve lestijd?*

9       Naast de lesuren hebben leerlingen ook andere uren waarin zij actief (kunnen) zijn met Frans. Deze uren kunnen per leerling verschillen. Het kan daarbij gaan om keuzewerktijd, facultatieve lessen etc. Zijn er op uw school georganiseerde momenten waarop de leerlingen met Frans bezig (kunnen) zijn buiten de reguliere Franse lessen om?*

10     Indien u bij de vorige vraag ‘ja’ heeft geantwoord, kunt u dan aangeven waar dit uit bestaat?

11         Indien u de vorige vraag heeft beantwoord, kunt u dan aangeven in welke mate leerlingen van de door u bij de vorige vraag gekozen mogelijkheden gebruik maken?

12     We zijn voor dit onderzoek niet alleen geïnteresseerd in de hoeveelheid lestijd in Frans op havo-niveau op dit moment, maar ook in veranderingen hierin in de afgelopen 30 jaar. Om die te onderzoeken hebben we drie specifieke perioden gekozen. We willen de totale lestijd in deze perioden weten om zicht te krijgen op de ontwikkeling in de lestijd. De drie perioden zijn 1990-1995, 2000-2005 (voor Frans 1,2) en 2009-2012. Mogelijk kunt u via oude schoolgidsen of via de schooladministratie achterhalen hoe de situatie toen was. Wij realiseren ons dat dit wel het nodige werk met zich mee brengt. Het zou ons echter enorm helpen om een concreet beeld te krijgen van de ontwikkeling van de lestijd.

De uitkomst van dit onderzoek is ongetwijfeld:

Kinderen komen minder in aanraking met Frans en maken dientengevolge hun examens slechter.

En dan is iedereen blij. Het CvTE heeft degelijk onderzoek gedaan, OCW kan zeggen dat het ligt aan de jeugd van tegenwoordig en de Minister kan erin volharden dat de examens valide zijn… Als iemand écht de problemen bij Frans wil oplossen moet hij naar de problemen bij de examens vragen. Niet naar de problemen bij de jeugd.

Voorstel

Voor we nu met ons allen gaan concluderen dat de examens gelukkig valide zijn en de kinderen te weinig onderlegd zijn voor Frans, zou ik willen voorstellen dat het CvTE een aantal docenten in vertrouwen neemt. Sluit een man of zes, met de eindexamens voor 2020 op in een bunker, zonder internet, met een stapel woordenboeken, kladblokjes, eten en drinken. Doe het met de Kerst. Verbied die zes uitverkorenen hun eigen klassen te corrigeren, laat hun lessen afluisteren door de AIVD, die hebben toch verder niks te doen, laat ze volgen, schaduwen, aftappen, maar geef ze Carte Blanche. Zij moeten alle fouten eruit halen. En ga dit dan niet vragen aan bangerds die niemand voor de schenen durven te schoppen. Alle aanpassingen die zij maken aan de examens voert het CvTE zonder morren en, essentieel, zonder invloed van het fruithapje door. Alles.

En als er dan in 2020, bij een foutloos examen, wederom zou blijken dat de kinderen slecht scoren, pas dan brengen jullie de uitkomst van deze gemankeerde enquête naar buiten. Tot die tijd is het wijs en zinnig om de hand diep en pijnlijk in eigen boezem te steken en om de kinderen het voordeel van de twijfel te geven.

Dit mes snijdt aan twee kanten, het CvTE maakt zich niet belachelijk met een eigen-slager-scenario en de kinderen hebben een foutloos examen. Ik zie niet wie daar tegen kan zijn. De uitkomst van het onderzoek kan dan probleemloos zijn, dat er bij foutloze examens minder fouten worden gemaakt. Mooi toch?

Charlotte Goulmy is lerares Frans