Benchmarks in QRiH
Een benchmark betreft een vergelijking tussen een te evalueren onderzoekseenheid en vergelijkbare andere eenheden, nationaal of internationaal. Het doel van een benchmark is enerzijds de te evalueren onderzoekseenheid een spiegel voor te houden (hoe doen we het in vergelijking met een relevante andere omgeving) en anderzijds evaluatoren te helpen een vergelijking te maken met andere eenheden.
Een goede, transparante benchmark is een vergelijking op gelijke karakteristieken in gelijke omstandigheden of speelvelden. Dat is in de praktijk moeilijk te bereiken, ten eerste omdat onderzoekseenheden nogal kunnen verschillen in omvang, missie en onderzoeksprogramma. Ten tweede omdat evaluatieprocedures en -criteria vaak grote verschillen vertonen.
Er zijn twee manieren om toch met benchmarks te werken. In een beperkt aantal vakgebieden waarin veel wordt gepubliceerd in internationale tijdschriften kan worden gekeken naar productie- en citatie-indicatoren (zie voor de bruikbaarheid per domein de Domeinprofielen). Een tweede manier is een meer inhoudelijke vorm van benchmarking. Die is in principe op alle gebieden van toepassing. Daarbij wordt aan de hand van recente evaluatierapporten van andere eenheden een vergelijking gemaakt ten aanzien van het eigen onderzoeksprogramma en de eigen doelstellingen. Beide vormen van benchmarking kunnen onderdeel zijn van de SWOT-analyse, die in feite ook beoogt de positionering van de onderzoekseenheid in zijn omgeving vast te stellen.
Geef voor de benchmarking bij de SWOT analyse aan met welke relevante andere onderzoekseenheid (of -onderzoekseenheden) het programma te vergelijken is, en op welk aspect:
- De relevantie van de gekozen onderzoekseenheid (of -eenheden) vloeit voort uit het eigen narratief, met name missie en ambitie.
- Naast het aangeven van overeenkomsten is het ook mogelijk om de verschillen aan te geven.
- Vergelijk de onderzoekseenheden zo mogelijk aan de hand van de zelf gekozen relevante indicatoren (paragraaf 2 van het format). De indicatoren zullen veelal kwalitatief van aard zijn. Denk hierbij bijvoorbeeld aan een vergelijking van de gebruikte onderzoeksmethoden, het type samenwerkingspartners buiten de academie, het soort activiteiten om kennis te delen/verspreiden, of de focus op persoonsgebonden danwel maatschappelijke subsidies.
- Indien beschikbaar kunnen uitkomsten van recente onderzoeksevaluaties van de andere eenheden genoemd worden.
Vergelijkingen kunnen ook op andere gronden worden gemaakt, bijvoorbeeld aan de hand van het QRiH instrumentarium:
- Het profiel van de onderzoekseenheid kan worden vergeleken met de (landelijke) domeinprofielen (zie Domeinprofielen).
- Het interdisciplinaire karakter kan onderstreept worden door te wijzen op de diversiteit van publicaties in geautoriseerde kanalen van verschillende domeinen.
- Het publicatieprofiel van de eenheid kan met behulp van de lijsten worden uitgewerkt naar specialisme, disciplinaire en multidisciplinaire gerichtheid (zie de webpagina productprofielen van instituten).
In het algemeen adviseert het LAP om terughoudend te zijn met het specificeren van kwantitatieve benchmarks. In de geesteswetenschappen is het in de meeste gevallen niet mogelijk kwantitatieve benchmarks op te stellen die gebaseerd zijn op generieke domein-specifieke kenmerken, zoals bij citatieanalyses gebaseerd op bibliometrische gegevens uit Web of Science, Scopus of Google Scholar (zie webpagina's Bibliometrie, Domeinprofielen).
Indien gewenst is het wel mogelijk gebruik te maken van publicatielijsten QRiH of van internationale andere kwaliteitssystemen, zoals VABB-SHW, CRISTiN of ERIH Plus (zie webpagina Andere Initiatieven). Daarbij tekent het LAP aan dat deze lijsten veel uitgebreider zijn dan de QRiH lijsten en daardoor ook minder selectief zijn.