"Ranking is bananen met bloemkolen vergelijken"

“In het HEFCE-rapport vallen twee zaken op. Eerstens dat de rankings een onverwacht en perverterend effect hebben op de stakeholders. Op het beleid van de instellingen en overheden en op de keuzes van studenten. De conclusie is dat de invloed zorgwekkende vormen aanneemt, hiermee maakt HEFCE een punt waar ik het roerend mee eens ben. Ten tweede is het probleem dat met verschillende meetlatten gemeten wordt en dat veel instellingen zelfs buiten de meetlat vallen. Ze vergelijken niet meer appels met peren, maar bananen met bloemkolen.”

“Die kritiek is natuurlijk niet nieuw en erg gericht op de Engelse situatie, hoewel er ook twee internationale rankings zijn onderzocht (de Shanghai Academic Ranking of World Universities en The Times Higher Education Supplement World University Rankings, red). Maar het is goed om weer eens te onderstrepen dat de kwaliteit van deze invloedrijke lijsten ter discussie staat. Die zogenaamde kwaliteit suggereren de rankers vooral zelf. Ze meten voornamelijk volgens traditionele academische waarden. Dat komt sommigen goed uit natuurlijk, maar is te grof en eenzijdig. Ik verwacht dat men dit uiteindelijk zelf in de toekomst ook wel in gaat zien.”

“In het rapport mis ik wel de relatie met ‘mijn’ CEIHE project (Classifying European Institutes of Higher Education, red.) dat gesponsord wordt door de Europese Commissie en waarin wij op een beschrijvende wijze de verschillende soorten hoger onderwijsinstellingen in Europa proberen te classificeren. Een beetje in de traditie van de Carnegie Classification in de Verenigde Staten. Dat is wel wat anders dan ranking. Het is de kunst, of de uitdaging, om indicatoren te vinden waarop je instellingen kunt classificeren en beschrijven op grond van hun eigenkenmerken en merites. Daarbij werken wij met zeven à acht meetlatten, in plaats van éen. Binnen zo’n classificatie zou je kunnen ranken. Je vergelijkt dan appels met appels. Wij doen dat overigens niet.”

“Momenteel is de Leiden Ranking, waarin onderzoekskwaliteit gemeten wordt, een toonbeeld van best practice. Op dit vlak behoort het tot het allerbeste werk ter wereld en is het de beste meter van researchintensiteit. De Duitse CHE Hochschulranking met zijn rode, oranje en groene schalen, schaar ik onder de cliëntgerichte aanpak. Het type dat bijvoorbeeld voor studenten belangrijk is. Samen met Leiden, CHE, CHEPS en de universiteit van Leuven is het CHERPA initiatief ontstaan: het Consortium for Higher Education and Research Performance Assessment. Ons doel is om te komen tot betere rankings en op te houden met het vergelijken van onvergelijkbare typen instellingen. Daar ligt ook de relatie naar het eerder genoemde classificatie project (CEIHE). In dat project is er een sterke relatie met de ‘stakeholders’ (m.n. de Europese associaties en netwerken van hoger onderwijsinstellingen zelf) en werken we multidimensionaal waarbij niet alleen gekeken wordt naar onderzoekskwaliteit van hoger onderwijsinstellingen maar ook naar zaken als de samenstelling van de onderwijs- en onderzoeksportefeuille, de bijdrage in de ontwikkeling van de regio, de innovatiecapaciteit, de staf-student ratio, de grootte van de instelling, enzovoort.

Desgewenst kunnen op basis van zo’n classificatie verschillende rankings worden uitgevoerd. In de VS zijn bijvoorbeeld diverse verschillende rankings beschikbaar. Daar hebben deze rankings  een grotere impact op de studiekeuzes voor instellingen en opleidingen. Hier in Europa zie je toch nog vooral andere factoren die meespelen: de regionale nabijheid, keuze van vrienden en vriendinnen, enzovoort. Maar de verwachting moet zijn dat ook in Europa de invloed van rankings zal toenemen. Alleen al daarom zijn kwalitatief betere en vooral per type instelling gedifferentieerde rankings van belang.”

Bekijk het HEFCE-rapport ‘Counting what is measured or measuring what counts?’ op http://www.hefce.ac.uk/pubs/hefce/2008/08_14