Redactie Beroepseer

Wetenschappelijke ranglijsten, gebaseerd op citatiefrequentie, werken corruptie in de hand, aldus Hans Clevers, hoogleraar moleculaire genetica aan het UMC Utrecht en president van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) in zijn artikel Met ranglijstjes krijg je al snel Saoedische toestanden in de Volkskrant. Hij luidt zijn artikel in met de waarschuwing dat we ons in Nederland blind staren op ranglijstjes: “En daar stond het weer, prominent in een brief van minister Kamp aan de Tweede Kamer: ‘De recent uitgekomen Times Higher Education Ranking laat zien dat Nederland evenveel universiteiten in de top 100 heeft als Duitsland.’

De brief, afgelopen dinsdag verzonden, is een reactie op een onderzoek naar wat wij van Duitsland kunnen leren op het gebied van wetenschappelijk onderzoek en innovatie. Leren is goed en vergt een open geest – toch kunnen we het blijkbaar niet laten al lerende toch nog even op eigen borst te kloppen. Calimero forever. Laten we er toch maar liever voor waken ons blind te staren op ranglijstjes. Een recente ervaring uit eigen koker biedt deze waarschuwing een kader.

‘Dear highly cited scientist’, zo luidde de aanhef van een e-mail die ik enige tijd geleden ontving uit Saoedi-Arabië. Mijn aandacht was getrokken en, natuurlijk, mijn ego gestreeld. ‘Ik hoop dat u in gezondheid leeft. Uit naam van de King Abdulaziz University (KAU) in Djedda, Saoedi-Arabië, deel ik u mee dat uw naam is geselecteerd op grond van de statistieken van ISI.’ Dit ISI – het Institute for Scientific Information – analyseert de wetenschappelijke literatuur op basis van citatiefrequentie: hoe vaker een artikel door anderen wordt aangehaald, hoe hoger de impact. Ieder jaar, als het instituut de nieuwe impactranglijsten voor de wetenschappelijke tijdschriften publiceert, houden de uitgevers de adem in. Elk jaar staan Science en Nature weer bovenaan.

Er worden ook citatiestatistieken bijgehouden voor individuele wetenschappers en blijkbaar kwam mijn naam in die beauty contest voor.  ‘Uw naam is geselecteerd door onze universiteit voor een consultancycontract. Dit programma is recent ontwikkeld door KAU om ‘s werelds beste wetenschappers de mogelijkheid te bieden met KAU samen te werken en te publiceren in veelgeciteerde tijdschriften.’

Ik had nooit van de bewuste universiteit gehoord en had zelfs Saoedi-Arabië nog nooit bezocht. Uit nieuwsgierigheid besloot ik in te gaan op de uitnodiging om Djedda te bezoeken en een lezing te geven. Enkele maanden later daalde ik de vliegtuigtrap af, de koele woestijnnacht in. Mijn gastheer legde me onderweg naar het hotel de nadelen van polygamie uit. Hij had zelf vier moeders gehad, terwijl de teller nu op drie echtgenotes stond. ‘Helaas eisen moderne vrouwen allemaal een eigen huis.’ Zijn metgezel voegde daar aan toe dat hij met één vrouw al meer dan genoeg te stellen had.

Lees het hele verhaal over hoe Clevers het aanbod om met KAU samen te werken heeft afgeslagen en daardoor een vorstelijk geldbedrag is misgelopen. Lees vooral ook de allerlaatste regel: Met ranglijstjes krijg je al snel Saoedische toestanden, door Hans Clevers, 19 april 2013 in de Volkskrant: www.volkskrant.nl

In de tweede week van april 2013 verschenen er diverse artikelen in de media over het hoger onderwijs. Over de in een bestuurlijke crisis verkerende Vrije Universiteit (VU) in Amsterdam bijvoorbeeld. In een reactie schreef een groep Verontruste VU’ers in Ad Valvas, het onafhankelijke platform van de VU, dat de aan de kaak gestelde problemen niet specifiek gelden voor de VU. Ook zijn zij niet slechts het gevolg van falende bestuurders of ondoordachte beleidsplannen: “Deze crisis legt een veel breder en structureler probleem bloot: de volkomen uit de hand gelopen vermarkting van academisch onderwijs en onderzoek, en het daarbij behorende model van de Managersuniversiteit. Deze problemen spelen op alle Nederlandse universiteiten (en zelfs in heel Europa)”.

In de Volkskrant schreef Rutger Bregman, auteur van het  in maart 2013 verschenen boek De geschiedenis van de vooruitgang, over de kwaliteit van het hoger onderwijs in een tijd waarin het studentenaantal blijft groeien en de te besteden geldbedragen blijven dalen. Bregman verwijst naar een in 1993, dus twintig jaar geleden, geschreven pamflet dat hij toevallig was tegengekomen, afkomstig van Chris Lorenz, hoogleraar aan de VU. Titel van het pamflet, Van het universitair front geen nieuws. Volgens Bregman is het een haarscherpe analyse, of eigenlijk voorspelling van hoe de bezuinigingen en de “ondernemende universiteit” het onderwijs zouden gaan uithollen: “Het is sindsdien alleen maar erger geworden en inmiddels staat de VU symbool voor het falend bestuur in het hoger onderwijs”.
In 2000 verscheen er nog een manifest: Naar een universitair reveil, waarin 62 hoogleraren kritiek uitten op verschoolsing, commercialisering van het onderzoek en verbureaucratisering van het bestuur. Onder studenten zou er veel onvrede zijn over het gestandaardiseerde en massale onderwijs.
In het in 2012 geschreven en veelvuldig geciteerde artikel De manager heeft gewonnen – de academicus is geknecht schrijft Ewald Engelen, hoogleraar financiële geografie aan de Universiteit van Amsterdam, dat bestuurders de macht overnemen op hogescholen en universiteiten. Dit betekent volgens hem het einde van de universiteit als vrijplaats voor belangeloze nieuwsgierigheid.

Fondsenwerving slokt abnormaal veel tijd en energie op

In Engeland wordt opgeroepen de Science is Vital  petitie te ondertekenen ter aanmoediging van de regering de wetenschap te blijven steunen. Wetenschappers ontvangen steeds minder overheidssubsidie voor onderzoek. Ze zijn genoodzaakt op zoek te gaan naar particuliere fondsen. Dat vergt veel tijd en energie en gaat ten koste van de eigenlijke taken. In dagblad The Guardian schreef Jenny Rohn, onderzoeker aan de Universiteit van Londen in haar artikel Show me the money: is grant writing taking over science? dat academici gevangen zitten in een systeem. Ze haalt een artikel aan uit Nature van 20 maart 2013: Funding: Australia’s grant system wastes time, waarin een vergelijking wordt gemaakt. Van vijf eeuwen wetenschap bedrijven zijn er vier eeuwen gespendeerd aan fondsenwerving voor onderzoek. Slechts 20,4 procent van de pogingen hebben tot resultaat geleid.
Canadese onderzoekers hebben berekend dat de administratiekosten van een grote fondsenwerving in 2007 hoger waren dan wanneer elke gekwalificeerde onderzoeker zonder meer dertigduizend dollar had ontvangen.
In Engeland bestudeerden twee onderzoekers aan de hand van computermodellen een systeem van fondsenwerving. De conclusie was dat we waarschijnlijk dezelfde wetenschappelijke resultaten zouden hebben gekregen als de onderzoeksfondsen willekeurig waren toegewezen. Dat zou een hoop tijd bespaard hebben.

De geleerdensoort is bezig uit te sterven

Ook in Duitsland klinkt er steeds luider kritiek vanuit de academische wereld. Klaus P. Hansen schreef een artikel over de vijandelijke omgeving die een universiteit vandaag de dag is. Het is volgens hem onmogelijk geworden je daar te verdiepen en je kennis eigen te maken. Hansen is emeritus-hoogleraar Amerikanistiek en directeur van het onderzoekscentrum Grundlagen Kulturwissenschaft aan de Universiteit van Passau: “Er dreigt een soort verloren te gaan, dat van de geleerden. De universiteiten ontnemen hen hun leefgebied. In het verleden waren bijna alle professoren geleerden, nu zijn ze in de eerste plaats bureaucraten, managers, internationalisten, concurrenten en presentatoren die dingen naar de gunst van het publiek”.

De universiteit was tot voor kort een bolwerk van kennis. De geleerde was een vakgeleerde, zijn hoeveelheid kennis was vakkennis, een afgebakende discipline zoals filosofie, germanistiek of sociologie. Zijn vakkennis had structuur en vervaagde niet tot in het oneindige. Moderne studierichtingen, waarmee universiteiten willen concurreren, staan daar ver van af. Universiteiten concurreren nu met conglomeraten zoals “Europese studies” of de in Passau uitgevonden “Diploma-cultuurwetenschappen”.
Als een student een themacollege bijwoont, behorend bij Europese studies, zoals “Shakespeare-tragedies”, De revolutie van 1848″, of “Spaanse hulpwerkwoorden”, hoe kan hij van de daar opgedane kennis en de thuis geleerde stof een samenhangend geheel maken? Als aan de “diploma-cultuurwetenschappen” nog een deel bedrijfseconomie wordt toegevoegd, neemt de onoverzichtelijkheid nog meer toe. Studie en onderzoek blijven aan de oppervlakte, diepgang wordt er niet meer gevraagd, aldus Hansen. Even verwerpelijk vindt hij empirisch onderzoek waarbij bijvoorbeeld aan Duitse arbeiders wordt gevraagd wat ze vinden van hun Turkse collega’s met het doel vooroordelen te ontdekken. Moeders die vinden dat hun te dikke babies een normaal gewicht hebben, worden ontmaskerd. Er wordt vastgesteld dat kinderen van rokende ouders ook gaan roken. Mannen met een jongere vrouw leven langer dan mannen met een vrouw van gelijke leeftijd. Dat de uitkomst ook een andere oorzaak kan hebben dan de leeftijd van de partner, bijvoorbeeld een gezondere levensstijl, wordt genegeerd.

Valse maatstaven

Over concurrentie en wedijver die de universiteiten binnensluipen schrijft Hansen dat het goed is voor de kwaliteit, maar niet als ze door de staat worden opgelegd. Dat creëert valse maatstaven en stimuleert niet de onderzoeksresultaten, maar de onderzoeksprojecten die vooral groot en internationaal moeten zijn. Om daar geld voor te krijgen moet men eindeloos durende vergaderingen bijwonen en aanvragen indienen. Een andere weg vol doornen is het werven van particuliere fondsen, waarvoor speciale maar geen wetenschappelijke talenten nodig zijn. Het gaat om het op de juiste manier kunnen indienen van een aanvrage.
Een ander punt dat Hansen aansnijdt is dat onderzoeksresultaten vaak in een anthologie verschijnen, verzamelbundels die meestal ongelezen in bibliotheken belanden. Deze anthologieën beslaan het leeuwendeel van de wetenschappelijke boekenmarkt. Maar echte paradigmaverschuivingen zijn “nog nooit door vakartikelen of anthologieën veroorzaakt, maar altijd door echte boeken, ook door monografieën, het werk van een enkele geleerde. Overdreven gezegd: Wetenschappelijke vooruitgang kan alleen bestaan door het lezen en schrijven van boeken”.
Het uitsterven van de geleerdensoort is het gevolg van een cultuurverandering: “Urenlang in eenzaamheid het ene boek na het andere lezen, past niet meer in onze tijd waarin de concurrentie domineert en waarin het om snelle uitwisseling en het juiste netwerk gaat”.

Laat de geest blijven waaien waarheen hij wil

Nieuwe ontdekkingen kwamen totnutoe meestal van jonge wetenschappers. Maar op het moment werken de omstandigheden tegen. Voor nieuw talent zijn alleen nog tijdelijke aanstellingen mogelijk, of een halve aanstelling. De termijn is over het algemeen twee jaar. Daarna moet een aanvrage ter verlenging worden ingediend, alsmede lijsten met projecten, voordrachten en vakartikelen: “Dan wordt er nog een bewijs van didactische vaardigheden gevraagd, verkregen door twijfelachtige studentenonderzoeken. De strategisch slimme gepromoveerde die nog geen professor is neigt derhalve naar infotainment en lagere eisen”.

Echte talenten hebben volgens Hansen nauwelijks de tijd voor de kern waar het in wezen om gaat, de dissertatie, het privaatdocentschap of de juiste boeken: “We leven in een tijd waarin de voorwaarden een beletsel vormen voor geleerdheid en misschien ook wel voor genialiteit. Als de professor de rol van manager speelt en het aankomende talent als tijdelijke arbeidskracht vegeteert, dan komen er alleen nog maar boekbesprekingen. Boeken helemaal uitlezen, ze met plezier doorlezen, wat vaak tot nieuwe ideeën leidt, zijn uitstervende bezigheden. Men mag alleen nog hopen dat de geest blijft waaien waarheen hij wil, ook naar de geleerdenvijandelijke omgeving van de moderne universiteit waar nog af en toe geleerden opduiken, en misschien zelfs genieën”.

Update

Op 19 april 2013 schreef Hans Clevers, hoogleraar moleculaire genetica aan het UMC Utrecht en president van de KNAW in de Volkskrant van 19 april 2013 een artikel met kritiek op wetenschappelijke ranglijsten die gebaseerd zijn op citatiefrequentie. Ze werken corruptie in de hand.
Clevers werd uitgenodigd te komen werken op de King Abdulaziz University (KAU) in Djedda, Saoedi-Arabië, op grond van de statistieken van ISI –  Institute for Scientific Information – dat de wetenschappelijke literatuur op basis van citatiefrequentie analyseert. Hoe vaker een artikel door anderen wordt aangehaald, hoe hoger de impact. Ieder jaar, als het instituut de nieuwe impactranglijsten voor de wetenschappelijke tijdschriften publiceert, houden de uitgevers de adem in. Elk jaar staan Science en Nature weer bovenaan.

Klik hier voor het hele verhaal Met ranglijstjes krijg je al snel Saoedische toestanden, over hoe men in Saoedi-Arabië met een vorstelijk geldbedrag probeerde Clevers over te halen een consultatiecontract te ondertekenen met de KAU Universiteit. De Volkskrant,  19 april 2013: www.volkskrant.nl

Referenties

Hochschulkultur: Wie Unis Genialität verhindern, Ein Gastbeitrag von Klaus P. Hansen,  Spiegel Online, 3 april 2013: www.spiegel.de

De geschiedenis van de vooruitgang door Rutger Bregman: www.debezigebij.nl/

Van het universitair front geen nieuws, door Chris Lorenz, te lezen op de website van Kritische studenten: www.kritischestudenten.nl

VU-problemen spelen op alle universiteiten in Ad Valvas, 8 april 2013: www.advalvas.vu.nl

De manager heeft gewonnen, door Ewald Engelen, nrc next, 18 juli 2012: www.nrc.nl

Zie ook de brochure Europa en het hoger onderwijs: Meer winst voor bedrijven, hogere kosten voor studenten, minder kwaliteit, 2012: www.andereuropa.org

Show me the money: is grant writing taking over science, door Jenny Rohn, The Guardian, 8 april 2013: www.guardian.co.uk

Science is Vital petitie, 21 maart 2013: http://scienceisvital.org.uk

Onderwijsfusies, onderwijsmanagers en de leraren zelf, Blogs Beroepseer van 18 september 2012: beroepseer.nl

Manifest van Verontruste Vu’ers, Blogs Beroepseer, 18 mei 2012: https://beroepseer.nl

In Engeland wordt Raad ter bescherming van universiteiten opgericht, Blogs Beroepseer van 10 november 2012: https://beroepseer.nl

Geen ranglijsten meer voor Duitse wetenschappers, Blogs Beroepseer, 17 oktober 2012: https://beroepseer.nl

Gestreste academici in Groot-Brittannië, Blogs Beroepseer van 11 oktober 2012: https://beroepseer.nl

Op 15 april 2013*⁾ komt het Centraal Bureau voor de Statistiek (CBS) met een publicatie van ‘Citoscores naar inkomen en gezinssituatie’. Op zijn Onderwijsblog en Twitter vroeg journalist Ronald Buitelaar zich afgelopen vrijdag af hoe het CBS in staat is om een koppeling te maken tussen Citoscores en gegevens over inkomen en gezinssituatie van de geteste leerlingen: “Ik neem tenminste niet aan dat op het antwoordenformulier van Cito vermeld moet worden in wat voor gezin je opgroeit en hoeveel geld je paps en mams verdienen.

In een poging om licht te werpen op deze kwestie stuitte ik op een ouder onderzoek van het CBS waarbij Citoscores gekoppeld werden aan andere bestanden. Het onderzoek uit 2008 constateert dat leerlingen bij afwijking van het Citoadvies een grotere kans lopen om op een ander onderwijsniveau te belanden dan leerlingen waarbij het Cito advies strikt opgevolgd wordt. Koren op de molen van Cito lijkt mij, maar niet relevant voor de beantwoording van de vraag hoe het CBS aan die Citoscores komt. Citoscores zijn immers het bezit van scholen, zoals een woordvoerder van Cito mij al eens in een ander verband heeft laten weten: ‘Op het moment dat de resultaten bekend zijn, sturen wij die naar de scholen. Zij zijn de eigenaar van deze gegevens en kiezen er zelf voor of ze de gegevens willen publiceren’.

Meer duidelijkheid verschafte de technische toelichting bij het onderzoek uit 2008. Daaruit werd duidelijk dat het CBS niet alleen de beschikking had over ‘de Citoscores van 144 duizend leerlingen op de Cito eindtoets basisonderwijs’ maar door middel van ‘achternaam, geboortedatum en geslacht’ ook het sofinummer kon herleiden.

Say what? Het CBS beschikte via achternaam, geboortedatum en geslacht dus ook over het sofinummer en kon aan de hand daarvan en de koppeling met een aantal andere data bestanden – Sociaal Statistisch Bestand (SSB) en Basisregistratie Onderwijsnummer (BRON) – uitspraken doen over ‘Niveauwisselingen na afwijking van Cito-advies’. Op die manier bleek het mogelijk om voor liefst 94% van de leerlingen een koppeling te leggen tussen de Citoscore en andere databestanden.

De vraag rijst hoe het CBS kon beschikken over de Citoscores, die zoals eerder betoogd het eigendom zijn van scholen. CBS is daar helder over: ‘In 2005 deed van alle basisscholen 85 procent mee aan de eindtoets basisonderwijs van Cito. Het CBS heeft alleen gegevens van de scholen die toestemming hebben gegeven aan Cito voor gegevensuitwisseling. Dit geldt voor 94 procent van de deelnemende scholen.’

Waarmee het antwoord is gevonden op de vraag hoe het mogelijk is dat CBS de Citoscores kon koppelen aan andere databestanden: ‘De basisscholen hebben er bijna allemaal toestemming voor gegeven.’ De vraag is of elke basisschool zich daarvan in 2005 bewust was en als dat het geval was of ze hier transparant over zijn geweest naar ouders.

Resteert de vraag hoe het anno 2013 geregeld is. Tekenen basisscholen nog steeds (onbewust?) voor gegevensuitwisseling met andere instellingen? Hoe staat het met de privacy van leerlingen? Worden individuele, niet-geanonimiseerde, toetsscores nog steeds gebruikt voor vervolgonderzoek en wat voor onderzoeken zijn dat dan? Ik beloof je , ik ga op zoek naar de antwoorden”.

Zie: Weten basisscholen eigenlijk wel wat er met ‘hun’ Citoscores gebeurt? door Ronald Buitelaar, 13 april 2013: http://ronaldsonderwijsblog.blogspot.nl

*⁾ Zojuist heeft  het CBS het artikel met statistieken gepubliceerd onder de kop: Kinderen met stiefouder scoren lager op de Cito-toets:
“In 2011 hadden kinderen in groep acht van de basisschool gemiddeld een Cito-score van 536. Meisjes en jongens uit gezinnen met hogere inkomens scoorden hoger dan gemiddeld. Kinderen die wonen in een gezin met een stiefouder haalden in elke inkomensgroep een lagere score.
…
In tegenstelling tot de lagere Cito-score van kinderen uit eenoudergezinnen, kan de lagere score van kinderen uit gezinnen met een stiefouder niet verklaard worden door inkomensverschillen. In elke inkomensgroep hadden zij gemiddeld een lagere score dan kinderen uit intacte gezinnen. Stiefgezinnen komen relatief weinig voor: drie op de tien kinderen van gescheiden ouders woonde in een gezin met een stiefouder”.

Lees het hele artikel op de website van CBS: Kinderen met stiefouder scoren lager op de Cito-toets, 15 april 2013: www.cbs.nl

Volg ook de reacties op Twitter: @RonaldBuitelaar