Zijn examens moderne vreemde talen eigenlijk wel valide? Leraar Duits analyseert de eindexamenteksten

Martin Ringenaldus, docent Duits op de Regionale Scholengemeenschap Goeree-Overflakkee Middelharnis, heeft zich verdiept in de eindexamenteksten Duits en daarover gepubliceerd op de site van Didactief, onafhankelijk vakblad voor het onderwijs. Ringenaldus vraagt zich af of het eindexamen Duits valide is? Om die vraag te beantwoorden heeft hij getracht de frequentie van woorden in examenteksten Duits te bepalen. Voor een valide examen zouden die overeen moeten komen met wat hij zijn leerlingen leert. Maar dat is niet zo. Slechts 86 woorden blijken in alle 20 examens tussen 2008 en 2017 voor te komen.

Jaarlijks veel klachten over het eindexamen

Ringenaldus:

“Elk jaar in examentijd wordt er op scholen en vooral in de sociale media door leraren enorm gefoeterd op de eindexamens, vooral bij de moderne vreemde talen (MVT) Duits en Frans. Triest hoogtepunt was de affaire rondom het eindexamen Frans VWO van 2017 dat fouten bevatte en tot een rechtszaak leidde. De rechter doet echter geen uitspraak over de validiteit van de regels of van de examens. Wanneer is een examen eigenlijk valide?

Helpt het om leerlingen examenidioom te laten leren?

Voor mijn vak Duits moeten leerlingen bij het examen Duitse teksten lezen, waarvan je mag aannemen dat ze aansluiten bij wat ze hebben geleerd. Ze moeten daartoe leesstrategieën kennen (zie hieronder) en woordkennis bezitten. Maar welke woorden zijn relevant? Op een aantal scholen leren leerlingen zogeheten examenidioom. Er zijn ook boekjes examenidioom (bijvoorbeeld hier) in de handel waarvan beweerd wordt dat de aangeboden woordenschat is samengesteld aan de hand van recente examens, kranten en tijdschriften. Mijn natuurkundeleraar zei vroeger altijd: “Meten is weten, gissen is missen”, dus heb ik getracht de frequentie van woorden in examenteksten te bepalen. Voor een valide examen zouden die overeen moeten komen met wat ik mijn leerlingen leer? Toch?

Ik heb met behulp van een eenvoudig online hulpmiddel de woordfrequenties van de verschillende gebruikte woorden bepaald van alle teksten in de examens Duits VMBO-GL/TL 2008 t/m 2017 beide tijdvakken (dus van 20 complete examens). In totaal heb ik hiermee ruim 12.000 verschillende woorden geteld, waarbij opgemerkt moet worden dat woordvarianten (bijvoorbeeld ‘klein’, ‘kleinen’, ‘kleinem’, e.d.) als aparte woorden worden gezien. Daar staat tegenover dat het programma woorden met verschillende betekenis die hetzelfde worden geschreven op één hoop veegt (bijvoorbeeld het bezittelijk voornaamwoord ‘sein’ en het werkwoord ‘sein’). Je zou de lijst nog wel kunnen vereenvoudigen, maar dat is een vrij complexe aangelegenheid. Voor het uiteindelijke beeld zal het, denk ik, niet veel uitmaken. Mijn bevindingen zijn schokkend, hier staan de belangrijkste op een rijtje:

* slechts 86 woorden blijken in alle 20 examens voor te komen waaronder de lidwoorden, de meeste voorzetsels, en een aantal signaalwoorden;

* slechts 5 zelfstandige naamwoorden komen in alle 20 examens voor (Tag, Schule, Menschen, Jahr/Jahre/Jahren en Beispiel);

* bijna 70% van alle verschillende woorden komt slechts in 1 van de 20 examens voor en deze woorden kunnen dus niet worden beschouwd als hoogfrequent;

* nog geen 4% van alle verschillende woorden komt in minimaal 10 van de 20 examens voor.

Een examen telt gemiddeld zo’n 1300 verschillende woorden, maar als je in totaal over 20 examens ruim 12.000 woorden telt, dan is het de vraag hoe het gebruikte vocabulaire in het ene examen met het gebruikte vocabulaire in een ander examen overlapt. Om die reden heb ik een matrix (zie afbeelding) gemaakt waarin ik in de eerste kolom per examen laat zien hoeveel verschillende woorden erin zijn gebruikt en hoeveel woorden van dat examen in elk van de andere 19 examens voorkomen. Dan blijkt dat dat gemiddeld 340 woorden zijn. Anders gezegd: voor het ene examen zou je 900 tot 1000 andere woorden moeten kunnen begrijpen dan voor elk willekeurig ander examen.

Tussen twee willekeurige examens vond ik slechts 26% overlap in vocabulaire. Dit is ook het geval als je van één jaar de examens van beide tijdvakken naast elkaar legt. Hoe kan een leraar de leerlingen hier adequaat op voorbereiden? Als bijna 70% van alle verschillende woorden in de 20 examens slechts in 1 van de 20 examens voorkomt, hoe kan een leerling dan ooit tot een woordbegrip van 95% komen dat volgens Alex Quigley (Closing the vocabulary gap) vereist is om leesvaardig te kunnen zijn? Hoe zinvol is het dan om leerlingen ‘examenidioom’ te laten leren? En als een leerling voor geen enkel examen leesvaardig zou kunnen zijn, is het huidige examen dan wel een valide instrument om de leesvaardigheid van leerlingen te meten? Wat zeggen de cijfers van de leerlingen over hetgeen zij daadwerkelijk met de taal kunnen? Hoe eerlijk is het om scholen op basis van examenresultaten te vergelijken en hieraan een waardeoordeel te koppelen? Wat zeggen de eindexamenresultaten eigenlijk over de kwaliteit van het geboden onderwijs op een bepaalde school”.

Klik hier voor verder lezen artikel van Martin Ringenaldus: Hoe valide is het eindexamen Duits? Didactiefonline, 1 juni 2018: https://didactiefonline.nl/artikel/hoe-valide-is-het-eindexamen-duits

Lees ook: The day after the day before. Reactie van Charlotte Goulmy op uitspraak kort geding examen Frans, Groepsblog Beroepseer, 30 augusus 2017: https://beroepseer.nl