In september 2016 verscheen de bundel Goed werk voor academici^*). Hiervoor schreef ik een overzichtsartikel over de grote rol van bibliometrie – een statistische analyse van geschreven publicaties – in het beoordelen van wetenschap en wetenschappers. Ik beschreef hoe de impact factor en de h-index steeds belangrijker zijn geworden voor het verdelen van beurzen, het aanstellen van wetenschappers en het beoordelen van onderzoeksgroepen. Met alle nadelen van dien. Gelukkig zijn er ook steeds sterkere tegenbewegingen vanuit de wetenschap zelf, bijvoorbeeld in de vorm van Science in Transitionⁱ. Dit heeft in Nederland onder andere geleid tot het standard evaluation protocol (SEP), waarin staat dat productiviteit niet langer een rol mag spelen in de beoordeling van wetenschappersⁱⁱ. Internationaal is er de ‘San Fransisco Declaration on Research Assessment’ (DORA)ⁱⁱⁱ. Deze verklaring, geïnitieerd door de Amerikaanse vereniging voor celbiologie, roept wetenschappers en universiteiten op om geen op tijdschriften gebaseerde bibliometrische cijfers te gebruiken voor het beoordelen van individuele wetenschappers of artikelen.

Afgelopen week schreef het vaktijdschrift Nature dat ook hun tijdschrift de DORA heeft ondertekend^iv. Tegelijkertijd publiceerde het tijdschrift een kort artikel van drie economen die onderzoek doen naar wetenschap en innovatie. Zij presenteren hierin een nieuw, problematisch gevolg van de focus op bibliometrische maatstaven^v. Vandaar deze update.

Allereerst beschrijven de auteurs dat – ondanks alle verklaringen en maatregelen – het gebruik van de impact factor en h-index eerder regel dan uitzondering is op plekken waar onderzoekers worden beoordeeld. In meerdere landen spelen deze maatstaven een formele rol. Ook wanneer bibliometrische maatstaven officieel geen onderdeel zijn van de procedure blijken deze vrijwel overal nog steeds gebruikt te worden. Vaak al door de wetenschapper zelf en anders door de commissie die hem of haar beoordeelt. Overigens wordt Nederland door de auteurs niet expliciet genoemd. De auteurs geven aan dat deze focus op bibliometrie zal leiden tot minder innovatief onderzoek: wetenschappers zullen bij het aanvragen van beurzen immers voor de ‘veilige’ route kiezen, waarbij de kans op publicaties groter en de kans op mislukking kleiner is. Dit leidt, zo claimen de auteurs, tot een ‘publicatiebias’ tegen innovatief onderzoek: dit type onderzoek heeft dus minder kans op financiering.

Innovatief onderzoek heeft tijd nodig

Hoe dat kan, tonen de auteurs aan met een analyse van alle onderzoeksartikelen die in 2001 zijn gepubliceerd op Web of Science (660.000 in totaal)^vi. Hierbij zetten ze de ‘noviteit’ van ieder artikel af tegen de impact ervan, in de vorm van citaties. Ze kijken hierbij naar een lange periode (15 jaar) waardoor de hoeveelheid citaties daadwerkelijk een betrouwbare indicatie is van de wetenschappelijke impact. De noviteit van een artikel wordt bepaald door naar de bronnenlijst ervan te kijken. De auteurs hebben deze geanalyseerd op het aantal nieuwe combinaties: bronnen die nooit eerder samen onder een artikel hebben gestaan. Hoe meer van deze nieuwe combinaties de bronnenlijst bevat, hoe innovatiever het onderzoek is.

De analyse laat duidelijk zien dat innovatief onderzoek tijd nodig heeft om impact te maken. Niet-innovatieve artikelen hebben altijd rond de 0,9% kans om bij de meest geciteerde artikelen te horen, ongeacht hoe lang geleden ze gepubliceerd zijn. Innovatieve artikelen daarentegen hebben de eerste drie jaar na publicatie een kleinere kans om bij de meest geciteerde artikelen te horen, maar na die eerste drie jaar neemt de kans juist toe, tot 1,4% vijftien jaar na publicatie (zie afbeelding 1). Uiteindelijk betekent dit dat vijftien jaar na publicatie innovatieve artikelen 60% meer kans hebben om tot de meest geciteerde artikelen te behoren. Daarnaast bleken de meest innovatieve papers vaak in tijdschriften met een lagere impact factor gepubliceerd te zijn. Beide resultaten geven aan dat de focus op tijdschriften met een hoge impact factor (die berekend wordt over slechts twee jaar) bij het verdelen van onderzoeksgelden juist minder innovatieve onderzoeken zal opleveren.

De auteurs doen met deze analyse in handen een oproep aan onderzoekers, geldschieters, reviewers, redacteuren en universiteiten om geen gebruik meer te maken van dit soort (korte termijn) bibliometrische maatstaven. Niet alleen vanwege de intrinsieke nadelen van de maatstaven, maar ook om het effect dat deze kortetermijnvisie heeft op de lange termijn van de wetenschap: het werpt een extra barrière op voor vernieuwend onderzoek.

^*) Goed werk voor academici: https://beroepseer.vrijeboeken.com

^{i http://www.scienceintransition.nl
ii KNAW, VSNU, NWO (2014). Standard evaluation protocol 2015-2021 (versie juli 2015).
iii http://www.ascb.org/dora/
iv Nature (2017) 544:394
v Stephan P, Veugelers R & Wang J (2017) Nature 544:411-412.
vi Wang J, Veugelers & Stephan P (2016) NBER WORKING PAPER SERIES no. 22180}