Inleiding
Het SEP biedt op een aantal punten ruimte voor verschillende invulling van hoe de evaluatie wordt aangepakt. Dat geldt met name voor de indicatoren, maar ook voor het aggregatieniveau. De voorkeur van onderzoekers gaat vaak uit naar een beoordeling op het niveau van kleinere onderzoekseenheden, omdat zij zichzelf daarin direct kunnen herkennen, terwijl veel bestuurders vaak neigen naar evaluatie op een hoger aggregatieniveau, niet alleen omdat dit overzichtelijker is en veel minder tijd kost, maar soms ook uit andere overwegingen, bijvoorbeeld om de onderlinge samenhang binnen de grotere onderzoekseenheid te bevorderen of om te laten zien hoe de interdisciplinariteit vorm wordt gegeven of gestimuleerd.
De keuze van aggregatieniveau heeft consequenties voor de reikwijdte en de diepte van de evaluatie. Evaluatie op een laag aggregatieniveau maakt het – bijvoorbeeld - moeilijk voor visitatiecommissies zich een oordeel te vormen over de viability van een eenheid, het financiële en personele beleid etc.; dit bezwaar geldt te meer wanneer de (meeste) middelen voor het onderzoek en het beleid zijn ondergebracht in grotere eenheden. Een beoordeling op een hoog aggregatieniveau kan ertoe leiden dat de missie, strategie en resultaten van de eenheden daaronder min of meer verdwijnen en die eenheden niet aan de slag kunnen met de uitkomsten van de evaluatie, die te algemeen/abstract zijn geworden.
Daarnaast is er nog de optie van een evaluatie over de grenzen van instellingen heen, bijvoorbeeld landelijk op een specifiek domein, zoals in de jaren ’10 gebeurde in bijvoorbeeld de taalwetenschap. Zo’n vergelijkende beoordeling levert weliswaar specifieke informatie op, maar is complex, ook al omdat het beoordelingsproces, om tegemoet te komen aan de geest van het SEP 2021-2027, voldoende ruimte zal moeten bieden om de positie, missie en strategie van de afzonderlijke eenheden voor het voetlicht te brengen.
Opties
De kunst is een goed evenwicht te vinden. De evaluatie moet zowel werkbaar als effectief zijn, waarbij het doel van het SEP doorslaggevend is. De aanpak moet ertoe leiden dat de evaluatie alle betrokkenen voldoende inzichten en informatie oplevert.
Dat kan volgens twee modellen:
- Evaluatie per instituut, school, programma.
- Inbeddings- of paraplu-model, van instelling, faculteit, met daaronder instituten, programma’s enz.
Als het gaat om zelfstandige evaluatie van instituten, research schools of programma, geeft het SEP aanwijzingen met betrekking tot de gewenste omvang en uitgangspunten. Het aggregatieniveau moet in ieder geval voldoende zijn om zinvolle uitspraken te doen over de strategie en levensvatbaarheid of viability. Het is evident dat bij zelfstandige evaluaties aandacht moet worden besteed aan de verhouding tot (andere eenheden binnen) de overkoepelende organisatie, met name waar het om het gemeenschappelijke beleid, b.v. ten aanzien van HRM of PhD-beleid.
Een keuze voor een hoger aggregatieniveau, in de vorm van een inbeddingsmodel (‘genest model’) of paraplumodel, heeft als voordeel dat de verschillende dimensies en niveaus van een organisatie in onderlinge samenhang voor het voetlicht kunnen worden gebracht. Het model bestaat uit twee lagen: een zelfevaluatie van de grotere, overkoepelende eenheid (faculteit, groot onderzoeksinstituut), met daaronder de zelfevaluatie(s) van de onderdelen (b.v. op het niveau van onderzoeksinstituten of eenheden).
(Tekst gaat verder onder de afbeeldingen)
In de overkoepelende zelfevaluatie komen alle zaken aan de orde die de onderliggende eenheden delen, zoals het financiële en bestuurlijke beleid, HRM, academische cultuur, PhD’s etc.. Daarmee kan een realistisch beeld worden gecreëerd van met name de viability; bovendien scheelt het, zoals gezegd, veel werk. Overigens zou deze gelaagde aanpak een school/instituut/programma nog steeds de mogelijkheid bieden deel te nemen aan een landelijk opgezette visitatie, als daar toch toe zou worden besloten.
Ten slotte is er nog een belangrijk voordeel van een ingebedde evaluatie: zo’n aanpak leent zich beter voor het gebruik van het SEP als tool in de kwaliteitszorgcyclus (zie daar).