Het bestuurlijke kunstje: Doen alsof er niks aan de hand is!

Afgelopen dinsdag, op de mooie dag van koetsen, prinsen en prinsessen vormden de antwoorden op de vragen van staatssecretaris Dekker op de vragen van Peter Kwint SP, Lisa Westerveld GL, Eppo Bruins CU en Paul van Meenen D66 over de kwaliteit van de eindexamens Frans een valse dissonant. Ze beginnen lekker overzichtelijk, maar daarna gaat het los. U leest de officiële antwoorden in cursief, gevolgd door de niet-cursieve antwoorden zoals ze hadden moeten worden geformuleerd.

https://www.tweedekamer.nl/kamerstukken/kamervragen/detail?id=2017Z08325&did=2017D24233

Vraag 1
Bent u bekend met de klachten van docenten over het VWO-eindexamen Frans?

Antwoord 1
Ja.

Vraag 2
Hoe beoordeelt u de meerdere klachten van docenten over de kwaliteit van het eindexamen Frans?

Antwoord 2
Feedback, zowel positief als negatief, maakt een belangrijk onderdeel uit van het examenproces.

Feedback zou een belangrijk onderdeel moeten uitmaken van het examenproces.

De feedback wordt door het College voor Toetsen en Examens (hierna: CvTE) verzameld en gebruikt om tot een afgewogen beoordeling en normering van door eindexamenkandidaten gemaakt werk te komen.

De feedback wordt vakkundig genegeerd en gebagatelliseerd.

Het feit dat docenten signalen afgeven over examens vind ik een teken dat het examensysteem werkt zoals het bedoeld is.

Het feit dat de examens ratelen van de fouten is een teken dat iedereen maar wat doet en dat het niemand wat kan schelen. Daarom hebben wij godzijdank een monopoliepositie.

Zelf treed ik niet in de inhoudelijke beoordeling of waardering van signalen over centrale examens.

Het hele ministerie en sowieso alles wat met onderwijs te maken heeft, laat me volstrekt Siberisch.

Het is de rol en verantwoordelijkheid van het CvTE om een eindoordeel te vellen.

Het is jammer en pijnlijk dat het CvTE niet de capaciteiten of de motivatie heeft om dat verdienstelijk te doen, gelukkig boeit het niemand of kandidaten terecht of onterecht zakken, zolang we gemiddeld op de zes komen zit alles kits onder de rits.

Het CvTE heeft 95 signalen over het centraal examen Frans vwo eerste tijdvak ontvangen, gemeld door 72 vragenstellers.

Het examen VWO Frans 1e tijdvak besloeg 44 vragen, in vraag 39 hadden we, op tijd, zelf een fout gevonden en gecorrigeerd met een erratum. Bij vraag 10, 18 en 38 kwam dat drie dagen na afname, op 22 mei. Toen de Inspecteur-Generaal van de Onderwijsinspectie op 12 juni irritante vragen ging stellen over de kwaliteit van het examen VWO Frans werd op 14 juni om 00.01 toegegeven dat vraag 15 ook fout was. In de echte wereld was dat eigenlijk gewoon de 13e. Vijf van de 44 vragen zijn dus wettelijk, officieel en ondubbelzinnig fout naar de drukker gegaan.

Een inhoudelijke afweging van de ontvangen signalen wordt door de medewerkers van het bureau CvTE gemaakt in nauwe afstemming met leden of voorzitters van de vaststellings-commissies van de verschillende vakken.

Wij begrijpen dan ook niet dat Jeanette Noordermeer, de Voorzitter van Levende Talen, op Radio1, 13 juni, half 6, helemaal leegliep over de verbijsterende puinhoop bij de examens Frans. https://www.nporadio1.nl/uitzendingen/nieuws-en-co/fc18a566-c1fe-46d7-8d11-030592e1423d/2017-06-13-nieuws-en-co  (vanaf 1.21 u) Ridicule!

In het geval van het vwo-examen Frans heeft het CvTE georganiseerd dat er door een extra vakdeskundige naar de signalen is gekeken. Naar aanleiding van de binnengekomen feedback http://nos.nl/artikel/2178064-inspectie-wil-uitleg-over-fouten-eindexamen-frans.html heeft het CvTE besloten een aanvulling op het correctievoorschrift uit te sturen. Het correctievoorschrift is bij drie vragen aangepast. Daarmee heeft het CvTE wat mij betreft – conform zijn verantwoordelijkheid – op goede wijze georganiseerd dat er een gevarieerd en deskundig oordeel over het examen en het correctievoorschrift is gegeven.

Het examen was vrijdagmiddag pas afgelopen om een uurtje of 16.30 als je de verlengers meetelt. Ons volkomen incompetente en boven alles corrupte antwoordmodel stond om 17.00 online. Toen was het weekend. Alle docenten trokken de rode pennen uit hun etuitjes en begonnen te Facebooken en te Twitteren. Het was een festival van diepe sores en ging vooral om de vragen 6, 10, 11, 15, 18, 35 en 38. Drie vragen heeft onze expert gedurende het weekend uit het Landelijke Eindexamen VWO Frans gehaald. Toen bleven er nog maar vier fouten over. Dat maakt niet uit want het is natuurlijk niet zo dat je op een tiende kunt zakken of zo.

De Inspectie van het Onderwijs (hierna: inspectie) heeft naar aanleiding van dezelfde signalen onderzocht of het CvTE deze correct heeft afgehandeld. De inspectie constateert dat dit het geval was.

De Inspecteur vraagt opheldering, het CvTE vindt ter plekke een nieuwe fout, op de nacht van de normering en de Inspectie zegt dat het allemaal goed is! Mooi systeem toch! De Inspectie vraagt op 12 juni om opheldering en bam, binnen een paar uur, op de nacht van de uitslag, een maand na het examen, geven wij ruimhartig één fout alsnog toe!

We zitten nu al op de helft van alle op tijd erkende fouten in dat ene examen VWO Frans. De vragen 6,11 en 35 zijn gelukkig nog steeds niet gecorrigeerd. De hele gedachte dat wij foutloos werk zouden moeten afleveren… het moet niet gekker worden!

Dit is een bevestiging van de uitkomsten van een uitgebreid onderzoek van CINOP^*) naar klachtenafhandeling door het CvTE dat ik vorig jaar naar uw Kamer heb gestuurd. Hieruit blijkt dat het CvTE gestelde vragen en ingebrachte klachten op een adequate wijze afhandelt.

Reuze adequaat… Hahahaha

Vraag 3
Acht u het wenselijk dat het College voor Toetsen en Examens CvTE de fouten in het examen repareert door middel van de N-term? Hoe ziet deze reparatie eruit? Zijn er ook andere mogelijkheden? Kunt u uw antwoord toelichten?

Antwoord 3
Ik ben met het CvTE van mening dat leerlingen niet de dupe mogen worden van eventuele fouten in examens.

Maar we realiseren ons ook dat we aan de lopende band kandidaten duperen door onze achteloze houding, onze slordige examens, onze incompetente en corrupte antwoordmodellen en ons gefröbel met de normering.

Om ervoor te zorgen dat dit niet kan gebeuren, gebruikt het CvTE twee mechanismen in het examensysteem. Het eerste mechanisme is het uitdoen van een aanvulling op het correctie-voorschrift tijdens de correctiefase van het examen.

We zouden er ook voor kunnen kiezen om kloppende, deugdelijke examens te maken om de Nederlandse Eindexamenkandidaten op af te rekenen, maar daartoe hebben wij niet de middelen, de tijd of de competenties. We kunnen het niet en dat weet iedereen. Dat laatste betreuren wij. Zeer. Dit gaat ten koste van onze rust.

Elk examen wordt met grote zorgvuldigheid gemaakt, maar pas na de afname van een examen wordt duidelijk hoe het examen is gevallen bij de examenkandidaten in het desbetreffende jaar. Het komt voor dat een vraag in een examen niet werkt zoals dat bedoeld is.

Ja dat kun je wel stellen!

Dat kan bijvoorbeeld komen door een inhoudelijke onvolkomenheid in de opgave, maar ook doordat de vraag heel anders wordt gelezen dan bedoeld of doordat er ook andere antwoorden mogelijk zijn dan waar vooraf rekening mee is gehouden.

Of door incompetentie, desinteresse, monopoliepositie. Kortom, de mogelijkheden zijn eindeloos.

Docenten, in de rol van eerste en tweede corrector, komen deze vragen tegen tijdens de correctiefase. Het is de bedoeling dat zij hierover feedback geven richting het CvTE, zodat het CvTE – als een opmerking hout snijdt – een aanvulling op het correctievoorschrift kan uitsturen.

Maar, ook als commentaren hout snijden negeren wij die zolang als dat mogelijk is.

Vaak betekent dit een verruiming van de correctiemogelijkheden.

Maar meestal vegen we ons derrière ermee af. Wij weten, en Den Haag weet al jaren, echt al 20 jaren, minimaal, dat we er niks van kunnen. Het gaat helemaal prima naar wens zo. Rustig aan, dan breekt het lijntje niet.

Het is daarom belangrijk dat scholen en docenten over hetzelfde aangevulde correctievoorschrift beschikken en dat gebruiken bij de correctie. Op deze manier worden leerlingen zoveel als mogelijk op een gelijke manier beoordeeld en krijgen ze de scorepunten waar ze recht op hebben.

Maar omdat wij dus alleen mondjesmaat en bij voorkeur pas met het mes op de keel fouten herstellen, gebeurt dat niet, dat weten wij, daar doen wij niks aan, omdat het ons, en niemand overigens, wat kan schelen.

Om u een indruk te geven van waar het over gaat qua aantallen, kan ik u melden dat er afgelopen examenperiode circa 340 examens zijn afgenomen die samen circa 12.000 examenopgaven omvatten. Er is in totaal 33 keer een aanvulling op een correctievoorschrift verstuurd die betrekking had op één of meerdere examenopgaven.

Zie je hoe briljant wij dat verdoezelen? «Eén of meerdere examenopgaven.» Bij VWO Frans was er maar één aanvulling op de examenopgave terwijl we het dus hebben over inmiddels 5 toegegeven fouten. Voor hetzelfde geld gaat het dus niet om 33 aanvullingen op de correctievoorschriften, maar om 33 keer 5 fouten in de aanvullingen op de correctievoorschriften, hahaha daar komt niemand ooit achter en het lijkt best wel netjes zo. Toch? 165 fouten toegeven, doen of het er 33 waren, terwijl het er beslist veel en veel en veel meer hadden moeten zijn als we fatsoenlijk ons werk hadden gedaan. We rock!!!

Het CvTE streeft ernaar niet later dan vier werkdagen na de afname van een examen zo nodig nog een aanvulling te versturen.

Maar dat kan ook wel 11 dagen zijn zoals bij Biologie, of 6 dagen bij Nederlands, of 7 dagen bij Engels, who cares.

Een aanvulling uitsturen heeft alleen zin zolang docenten nog met de correctie bezig zijn.

Geen enkele docent met examenkandidaten zou natuurlijk bereid zijn om tot de laatste dag door te corrigeren.

Opmerkingen die te laat binnenkomen om er een eventuele aanvulling over uit te doen, worden meegenomen in de normeringsvergaderingen.

En zoals we inmiddels wel duidelijk hebben gemaakt worden opmerkingen over fouten waar we geen zin in hebben, die we vanaf de eerste dag al genegeerd hebben, net zo lang doodgezwegen tot we kunnen zeggen dat we ze niet op tijd gekregen hebben, dit terwijl een expert, zoals hierboven uitvoerig beschreven, in het allereerste weekend na afname, het weekend van 19 mei, er wél drie andere fouten uit had gehaald. We hadden dus één expert, maar die éne briljante expert kon niet in die schamele drie dagen er méér dan drie fouten uithalen. Dat zou schadelijk zijn voor onze reputatie. Die extra fout die we uiteindelijk na inmenging van de Inspectie op 14 juni hebben toegegeven, die fout van de rechtszaak zullen we maar zeggen, die éne fout kon onze expert van het eerste weekend, bijna een maand eerder, niet vinden. We moeten dus snel een expert vinden die onze expert kan controleren. Misschien, maar nu ga ik wel heel ver, zouden we experts aan ons moeten binden om die examens te maken, gewoon, in eerste instantie. Als basis zeg maar. Kijken of die amateur-docenten dan nog wat te zeuren hebben...

Dit is het tweede mechanisme waar ik op doel. Als bij de bespreking van de opmerkingen tijdens deze vergadering ook uit de toets- en itemanalyse (TIA) van het desbetreffende examen blijkt dat een examenvraag niet goed was, en hierover geen aanvulling op het correctievoorschrift is uitgegaan, kan met de betreffende vraag rekening worden gehouden bij de normering.

Tja, die TIA… het is maar goed dat we dat niet voor het Tweede Tijdvak hoeven te doen, dan zou iedereen zien dat het Havo Herexamen Frans foutloos was op een koe in een jurk na, maar erger nog, dan zouden ze zien dat het Vwo Herexamen Frans tot de dag van vandaag hele trossen aan fouten bevat die we niet hebben gecorrigeerd. Vraag 1, 2, 5, 10, 18, 28, 33 … Trouwens, 40 en 42 hebben we nog wel gecorrigeerd, ja, daar kwamen we echt niet onderuit, maar gelukkig ging alle aandacht uit naar die koe… daar hebben we mee gemazzeld. Anders zaten we nu nog te corrigeren, te rectificeren en te normeren… Negen fouten in een herexamen… Ik heb er niemand over gehoord terwijl we er toch ruimhartig twee hebben gecorrigeerd. Ondankbaar volk.

Een niet goed werkende vraag heeft immers effect op de moeilijkheidsgraad van een examen en daarmee op de vaststelling van de normeringsterm. In het geval van een slechte examenvraag beslist de normeringsvergadering altijd in het voordeel van de leerlingen, zodat zij niet worden gedupeerd.

In dit geval hebben we ervoor gekozen om alle kandidaten 0.1 punt te geven voor een vraag die 0.2 waard was. Alle kandidaten. Dus een kandidaat met een scorepunt kreeg 0.1 extra, is dus 0.3, een kandidaat met het goede antwoord zonder scorepunt kreeg 0.1 en een kandidaat met geen enkel of een fout antwoord kreeg 0.1, dus net zoveel als iemand met het goede antwoord zonder scorepunt, zodat wij alleen degenen dupeerden die een goed antwoord hadden. Logisch toch?

Het behandelen van de opmerkingen maakt onderdeel uit van het proces van normeren, dat erop gericht is om de moeilijkheidsgraad van een examen gelijk te schakelen met die van eerder afgenomen examens in dat vak, zodat het vaardigheidsniveau van leerlingen over verschillende jaren heen vergeleken kan worden. https://nieuwsbrief.examenblad.nl/wv/vk57gs4rlgyq/8o3ahkblja4vmg53

Maar dat is onzin als je ziet dat iedereen vorig jaar een 7 scoorde voor VWO Frans en nu een 6, haha, en trouwens tijdvak 1 Havo Frans, wat ratelde van de fouten, is idioot veel slechter gemaakt dan tijdvak 2 Havo. Dat scheelt soms wel 2 hele cijferpunten. Voor Vwo ontloopt dat elkaar niet zo want daar waren beide tijdvakken gelukkig erg slechte examens. Daar waren we wel heel consequent. Fijn dat we van de Tweede Kamer de Toets en Item Analyse van het Tweede Tijdvak niet openbaar hoeven te maken, zo kunnen we dat mooi in de doofpot houden.

De Tweede Kamer heeft binnenkort, net als ieder jaar een Algemeen Overleg over de examens en we gaan daar vertellen dat de examens dit jaar een stuk bevredigender zijn verlopen dan eerdere jaren. Er waren minder klachten over de fouten, er waren minder errata, er waren minder aanvullingen op de correctievoorschriften en we hebben minder kandidaten gedupeerd. Vooral de kernvakken doen het verbijsterend fantastisch.

Arjan van der Meij‏ @arjanvandermeij Aug 22 De gegevens van de examens Engels van
2005-2016. Wanneer, denken jullie, is de kernvakkenregeling ingevoerd?

Iedereen mag trots op ons zijn. Met beperkte midden, inzet, motivatie en capaciteiten hebben wij weer van alles, en met trots, aangericht. Dit zeggen wij vol overtuiging omdat wij voldoen aan de taken die wij gekregen hebben van het ministerie en die voldoen aan de protocollen van de Inspectie. Wij hebben wettig en overtuigend aangetoond dat wij onze monopoliepositie waard zijn en dat het vitaal is dat we geen TIA over het Tweede Tijdvak hoeven te publiceren. Verder is het ook echt zeer te waarderen dat de Inspectie niet in de pan mag kijken. Ze mogen constateren dat er een pan staat, nou die staat er. Het aantal fecaliën daarin gaat niemand wat aan. Daarom is de vergadering met onze dochteronderneming CITO dus besloten, volgende maand, in de Tweede Kamer. Dat is bittere noodzaak, anders zou niemand meer vertrouwen in de Landelijke Eindexamens hebben en dat moeten we zien te voorkomen.

https://www.tweedekamer.nl/debat_en_vergadering/commissievergaderingen/details?id=2017A02256

^Noot
*) CINOP is een onafhankelijk (inter)nationaal adviesbureau op het gebied van leren, opleiden en ontwikkelen.

Fouten in examen Frans die niet erkend worden en tot absurde situaties leiden, 10 juni 2017

Normering eindexamens: het College voor Toetsen en Examens neemt leraren niet serieus, 17 juni 2017

HAVO Herexamen Frans, slechts 1 echte koe van een fout! Oh la vache!, 22 juni 2017

“Hell hath no fury like a teacher scorned”. Kom niet aan mijn taal. Kom niet aan mijn leerlingen, 25 juni 2017

The day after the day before. Reactie van Charlotte Goulmy op uitspraak kort geding examen Frans, 30 augustus 2017