Evaluatie QRiH
In 2018 zijn veel geesteswetenschappelijke onderzoekseenheden geëvalueerd. Om te onderzoeken of en hoe QRiH gebruikt is bij de evaluaties heeft het LAP besloten een evaluatie te doen naar het gebruik van QRiH. In de bijlagen staan de hoofdboodschappen uit de evaluatie beschreven en is de volledige evaluatie bijgevoegd.
In het najaar 2019 worden de resultaten van de evaluatie tijdens een bijeenkomst besproken met het veld. Tijdens deze bijeenkomst zal niet alleen de evaluatie besproken worden, maar zullen ook voorstellen voor aanpassing van het instrument besproken en bediscussieerd worden.
Achtergrond en ontwikkeling van QRiH
Context
In het rapport Duurzame Geesteswetenschappen, beter bekend als het rapport van de Commissie-Cohen; 2009, werd geconstateerd dat de geesteswetenschappen, als het gaat om de waardering van hun onderzoek, te zeer zijn overgeleverd aan modellen die ontleend zijn aan de exacte en medische wetenschappen. Het rapport kwam met de aanbeveling om eigen standaarden voor de geesteswetenschappen te ontwikkelen. In de daarop volgende jaren zijn er binnen de KNAW commissies aan het werk gegaan met deze problematiek, zowel voor de geesteswetenschappen als de sociale wetenschappen (zie o.a. Kwaliteitsindicatoren voor onderzoek in de Geesteswetenschappen, mei 2011). Deze ontwikkelingen vielen min of meer samen met het opstellen van het Standard Evaluatie Protocol 2015 – 2021 (SEP) voor onderzoeksevaluaties, waarin meer ruimte werd gecreëerd voor zowel kwalitatieve als maatschappelijke aspecten van het onderzoek.
Uitgangspunten
Het advies van de KNAW bevatte weliswaar een aantal vruchtbare uitgangspunten, maar geen werkbaar model, klaar voor gebruik door onderzoekers, faculteiten en visitatiecommissies. Om die reden besloot het landelijke overleg van decanen van de geesteswetenschappelijke faculteiten (DLG), met instemming van het Regieorgaan Duurzame Geesteswetenschappen, eind 2012 in te stemmen met het voorstel om te komen tot een operationeel model voor Kwaliteitsindicatoren voor onderzoek in de Geesteswetenschappen. Daarbij hebben zich ook het landelijk Disciplineoverleg Wijsbegeerte (DWB), het Disciplineoverlegorgaan Godgeleerdheid (DGO) en de KNAW zich aangesloten.
Het penvoerderschap van het project werd belegd bij de Universiteit van Amsterdam en stond onder regie van een Wetenschappelijke Commissie en een Stuurgroep c.q. werkgroep (voor de samenstelling: zie colofon).
De Wetenschappelijke Commissie formuleerde de uitgangspunten van het project in 2014 als volgt:
- het op te leveren model zou vooral ‘geïnternaliseerde waarden’ moeten weerspiegelen, en de suggestie van een soort absolute objectiviteit moeten vermijden;
- het model zou vooral een handreiking moeten zijn en geen model voor bureaucratische exercities;
- het model zou moeten voorzien in een grote mate van differentiatie, om te komen tot (1) coherentie en (2) herkenbaarheid binnen de afzonderlijke domeinen van onderzoek;
- ook open access publicaties zouden een plaats moeten krijgen;
- het model zou multifunctioneel moeten zijn: het zou niet alleen moeten dienen om individuele prestaties te beoordelen, maar ook om beleid te maken, b.v. wat betreft de samenstelling en doelstellingen van onderzoeksgroepen;
- het model zou ook moeten kunnen dienen als ‘loopbaan-spiegel’ voor (jongere) onderzoekers, en bepaalde praktijken moeten bevorderen, op het terrein van maatschappelijke impact en exposure;
- in het model zouden valorisatie en impact moeten worden verdisconteerd.
Opzet en uitvoering van het Project KIG
Na een aarzelend begin, dat vooral in het teken stond van inventarisatie, werden de doelstellingen van het project geformuleerd en een strategie ontworpen om tot een model te komen. De gedachte was dit bottom up te doen, op grond van empirische bevindingen en waarden die door de onderzoekers worden (h)erkend. Daarmee bewandelde het project nieuwe wegen, ook internationaal bezien.
Een eerste stap was het in kaart brengen van de verschillende publicatieculturen binnen de geesteswetenschappen, aan de hand van een pilot, gebaseerd op de onderzoeksgegevens van de universiteiten van Leiden en Amsterdam. Voor de volgende stap op weg naar zo’n geografie van publicatieculturen werd een beroep gedaan op de landelijke onderzoekscholen, vanuit de gedachte dat daarmee het grootste deel van het onderzoek binnen de humaniora zou zijn afgedekt, en de daar bestaande communities konden fungeren als klankbord.
In deze opzet kregen de onderzoekscholen dus een cruciale rol toegewezen – een rol die later is vastgelegd in de instelling van Domeinpanels, die een plek hebben gekregen in QRiH. Hun eerste taak bestond uit het maken van een classificatie en kwalificatie van tijdschriften en uitgeverijen, aan de hand van materiaal dat door de werkgroep van het project KIG was aangeleverd.
Op het moment dat de onderzoeksscholen werden ingeschakeld, medio 2015, kookte het in universitair Nederland, en dat had zijn weerslag op het project. Sommige schoolbesturen waren er niet gerust op: wie garandeerde dat ook dit model niet zou worden gebruikt voor een afrekencultuur? De publicatie van het SEP 2015-2021 bood een uitkomst. Terwijl het verzamelen van de gegevens op een laag pitje werd gezet, stortte het Project zich op een vertaling van het SEP naar een handleiding voor de beoordeling van geesteswetenschappelijk onderzoek. De ratio hierachter was dat het SEP volop ruimte bood om ‘eigen’ – geesteswetenschappelijk’ – kader te scheppen met dito indicatoren.
Deze bijstelling van de aanpak leidde in 2016 tot de eerste versie van de Handleiding, waarvan de kernboodschap was dat zelfevaluatierapporten in de geesteswetenschappen een narratieve vorm zouden moeten krijgen, met argumenten onderbouwd door robuuste data, gecategoriseerd met behulp van de indicatoren. Deze handleiding werd uiterst positief ontvangen, waarna de Stuurgroep zich kon zetten aan de verdere uitwerking van de indicatoren en het verzamelen van de noodzakelijke gegevens voor het opstellen van de als ‘geautoriseerd’ benoemde indicatoren.
Deze werkzaamheden resulteerden in een presentatie van de Handleiding en een demo van de website QRiH, op 15 december 2016 bij de KNAW, ten overstaan van haar president, José van Dijck. In het daarop volgende halfjaar is vooral gewerkt aan een forse herschrijving van de Handleiding, een reorganisatie van de website (mede op grond van gesprekken en proefopstellingen), een verdere uitwerking en precisering van de indicatoren, en een herziening van alle lijsten en profielen door de Domeinpanels. Ondertussen besloten de drie disciplinaire overlegorganen DLG, DWB en DGO, met de KNAW tot oprichting van het Samenwerkingsverband QRiH. Onderdeel daarvan was de benoeming van een overkoepelend Landelijk Autorisatiepanel, belast met de inhoudelijke zeggenschap over het instrument. Tevens werd besloten het instrument te gebruiken in de komende visitatierondes en middelen ter beschikking te stellen om het instrument de komende jaren in stand te houden en verder te ontwikkelen.
Leden van domeinpanels
De volgende onderzoekers hebben meegewerkt in de domeinpanels (lijst per 11 september 2017)
ARCHON
Archeologie
Dr. Alexander Geurds (UL)
Dr. Roel Lauwerier (RCE)
Prof. Daan Raemaekers (RuG, chair)
Prof. Harry Fokkens (UL)
Prof. Nico Roymans (VU)
Prof. Vladimir Stissi (UvA)
Digital Humanities
Digital Humanities
Anne Beaulieu (RUG)
Elli Bleeker (Huygens ING - KNAW Humanities Cluster)
Joris van Eijnatten (Utrecht University)
Franciska de Jong (Utrecht University, Erasmus)
Ju-Sung Lee (Erasmus)
Patrica Lulof (Universiteit van Amsterdam)
Christian Olesen (Universiteit van Amsterdam)
Melvin Wevers (DHLab - KNAW Humanities Cluster)
Filosofie
Filosofie
Anthonie Meijers (TUe)
Frans de Haas (UL)
Marcus Düwell (UU)
Huizinga
Cultuurgeschiedenis
Floris Cohen (Voorzitter)
Frans van Lunteren
Inger Leemans
Joep Leerssen
Lotte Jensen
Michael Wintle (Director HI)
Paul Koopman (Co-ordinator HI)
Wijnand Mijnhardt
LOT
Taalwetenschappen
Dr. Aoju Chen (Utrecht)
Dr. Hans Van de Velde (Fryske Akademy)
Dr. Judith Rispens (Amsterdam-UvA)
Dr. Onno Crasborn (Nijmegen)
Dr. Sander Lestrade (Nijmegen), postdoc rep.
Prof. dr. Fons Maes (Tilburg)
Prof. dr. H.E. de Swart.
Prof. dr. Jack Hoeksema (Groningen)
Prof. dr. Lourens de Vries (Amsterdam-VU)
Prof. dr. Marian Klamer (Leiden)
Prof. dr. Nicoline van der Sijs (Meertens Instituut)
Prof. dr. Sjef Barbiers (Leiden), chair
Mediëvistiek
Mediëvistiek
Dekker (RUG)
Catrien Santingh (RUG)
Erik Kwakkel (Leiden)
Koopmans (UvA)
Marco Mostert (UU; voorzitter)
Martine Meuwese (UU)
Sven Meeder (RU)
NICA
Cultuur Studies
Anneke Smelik (RU),
Ernst van Alphen (LU)
Frans-Willem Korsten (EUR)
Ginette Verstraete (VU)
Maaike Bleeker (UU)
Murat Aydemir, UvA directeur NICA.
Patricia Pisters (UvA)
René Boomkens (UvA)
Rosemarie Buikema (UU)
NISIS
Islam Studies
Gabrielle van den Berg (LU)
Petra de Bruijn (LU)
Christian Lange (UU), voorzitter
Ruud Peters (UvA)
Thijl Sunier (VU)
NOG
Genderstudies
Dr. Agnes Andeweg (UD)
Dr. Eva Midden (UD)
Dr. Geertje Mak (UD)
Dr. Grietje Dresen (UD)
Dr. Kathrin Thiele (UD)
Dr. Liedeke Plate (UHD)
Dr. Liesbeth Minnaard (UD)
Dr. Rachel Spronk (UD)
Dr. Stefan Dudink (UD)
Dr. Veronica Vasterling (UHD)
Prof. Lies Wesseling (Hoogleraar)
Prof. Rosemarie Buikema (Hoogleraar)
Prof. Sandra Ponzanesi (Hoogleraar)
NOSTER
Theologie en Religiestudies
prof. dr. Ab de Jong, voorzitter domeinpanel Theologie en Religiestudies
prof. dr. Bert-Jan Lietaert Peerbolte, voorzitterAdviescommissie NOSTER
prof. dr. Frans Wijssen, vice-decaan penvoerende faculteit FTR, Radboud Universiteit
Prof. dr. Heleen Murre-Van den Berg
prof. dr. Judith Frishman, voorzitter schoolbestuur NOSTER
NWP
Economische en Sociale Geschiedenis
Prof.dr. A.A.P.O. Janssens
Prof.dr. C.A. Davids
Prof.dr. J. Kok
Prof.dr. M.G.J. Duijvendak
Prof.dr. R. Oldenziel
OIKOS
Klassieke Oudheidstudies
Prof. dr. Caroline Kroon (UvA/VU) -Latijn
Prof. dr. G. Boter (VU) - Oud Grieks
Prof. dr. Josine Blok (UU) -Oude Geschiedenis
Prof. dr. Miguel-John Versluys (UL) - Klassieke Archeologie
Prof. dr. Teun Tieleman (UU) - Antieke Filosofie + voorzitter
OPG
Politieke Geschiedenis
Prof. dr. Mieke Aerts (UvA)
Prof. dr. Remieg Aerts (voorzitter) (UvA)
Prof. dr. Ida Nijenhuis (Huygens ING / Radboud Universiteit Nijmegen)
Prof. dr. Wim Klinkert (UvA / Defensieakademie Breda)
Prof. dr. Kiran Patel (UM)
Dr. Remco Raben (UU)
OSK
Kunstgeschiedenis
Dhr. dr. C. Stolwijk (RKD - Nederlands Instituut voor Kunstgeschiedenis), voorzitter
Dhr. dr. J. Abrahamse (Rijksdienst voor het Cultureel Erfgoed)
Dhr. drs. E. Buijsen (Mauritshuis)
Dhr. prof.dr. F. Grijzenhout (Universiteit van Amsterdam)
Dhr. prof.dr. G. Weber (Rijksmuseum Amsterdam)
Dhr. prof.dr. K.A. Ottenheym (UU/Directeur OSK)
Dhr. prof.dr. M.A. Weststeijn (Universiteit Utrecht)
Dhr. prof.dr. P.B.M. van den Akker (Open Universiteit)
Dhr. prof.dr. V. Manuth (Radboud Universiteit Nijmegen)
Mw. dr. H. Berens (Het Nieuwe Instituut)
Mw. dr. M. Schavemaker (Stedelijk Museum Amsterdam)
Mw. dr. M. van Thoor (Technische Universiteit Delft)
Mw. drs. M. Vellekoop (Van Gogh Museum)
Mw. prof.dr. A.S. Lehmann (Rijksuniversiteit Groningen)
Mw. prof.dr. C.J.M. Zijlmans (Universiteit Leiden)
Mw. prof.dr. K. Kwastek (Vrije Universiteit Amsterdam)
OSL
Literatuurwetenschap
Dr. Aagje Swinnen (UM)
Dr. Brigitte Adriaensen (RU)
Dr. Stephan Besser (UvA)
Prof. dr. Ellen Rutten (UvA)
Prof. dr. Geert Buelens (UU)
Prof. dr. Henk van der Liet, voorzitter (UvA)
Prof. dr. Liesbeth Korthals Altes (RUG)
RMeS
Mediastudies
prof. E. Müller (UU)
prof. F. Kessler (UU)
Prof. G. Verstraete (VU)
Prof. M. Broersma (RUG)
prof. R. Rogers (UvA)
WTMC
Wetenschap- en Technologiestudies
Prof. S. Wyatt – KNAW.
Dr. A. Meershoek – UM
Dr. B. Pasveer (UM)
Dr. B. van der Meulen – Rathenau Instituut
Dr. G. Valkenburg (UM)
Dr. J. Broerse – VU
Dr. M. Boenink – UT
de Wit (RUG) – PhD student member
Smit (UL) PhD student member
Prof. H. Zwart – RU
Prof. Ir. G. Verbong – TUE
Prof. P. Wouters – UL, chair
Prof. H. Dijstelbloem – external member
Prof. K. Frenken – UU
Uitgangspunten QRiH
Uitgangspunt van QRiH is, recht te doen aan het eigen karakter en de grote diversiteit van het onderzoek in de geesteswetenschappen onder meer door:
- Het betrekken van onderzoekers bij het formuleren van criteria van kwaliteit en relevantie door domeinpanels;
- Ruimte voor beoordelingsinstrumenten voor uiteenlopende vormen van onderzoeksuitkomsten zoals boeken en bundels, catalogi, audiovisuele producten, tentoonstellingen, etc; deze verscheidenheid wordt zichtbaar in de uitwerking van de indicatoren zoals genoemd in de SEP tabel D1,
- Aandacht voor de samenhang tussen wetenschappelijke en maatschappelijke kwaliteit en relevantie, door de mogelijkheid om zelfevaluatierapporten op te stellen in narratieve vorm, en ook hybride uitkomsten van onderzoek te benoemen.
Meer informatie: Achtergrond en ontwikkeling van QRiH
QRiH biedt informatie en hulpmiddelen:
- Handleiding voor SEP beoordelingen in de geesteswetenschappen
- Format voor zelfevaluatierapporten
- Voorbeelden van zelfevaluaties (narratieve vorm)
- Profielen van onderzoeksculturen van de landelijke onderzoeksscholen
- SEP tabel D1, met voorbeelden van indicatoren
- Beschrijvingen van indicatoren in termen van bereik, bruikbaarheid en status;
- Hulpmiddelen voor het gebruik van indicatoren, waaronder Lijsten van uitgeverijen en tijdschriften die geautoriseerd zijn door de domeinpanels
- Profielschetsen van instituten en faculteiten
- Voorbeelden van hybride producten en hun gebruik
- Toelichting over de bruikbaarheid van bibliometrie.
Over QRiH
QRiH is een instrumentarium voor de beoordeling van kwaliteit en relevantie van onderzoek in de geesteswetenschappen, ontworpen in opdracht van het Samenwerkingsverband van de landelijke koepelorganisaties DLG, DGO en DWB, en de KNAW.
De zeggenschap over het instrument QRiH ligt bij het Landelijk Autorisatiepanel, op 20 juni 2017 ingesteld bij gemeenschappelijk besluit van het Samenwerkingsverband.
QRiH is vervaardigd door de projectgroep Kwaliteitsindicatoren in de Geesteswetenschappen (KIG), in opdracht van genoemde samenwerkende faculteiten en gefinancierd vanuit Duurzame Geesteswetenschappen (2013-2017).
De Wetenschappelijke Adviescommissie KIG bestond uit prof. dr Remieg Aerts (RU, UvA), em. prof. dr Geert Booij (Leiden), prof. dr Martha Frederiks (UU, 2014-2015), prof. dr Mary Kemperink (RUG), prof. dr Anthonie Meijers, prof. dr Frank van Vree, voorzitter (UvA, NIOD).
QRiH is voorbereid en ontworpen door de stuurgroep KIG, bestaande uit dr Ad Prins (onderzoek, productie & redactie), dr Jack Spaapen (KNAW, onderzoek en redactie), prof. dr Frank van Vree (UvA/NIOD, voorzitter, onderzoek en eindredactie), dr Thed van Leeuwen (CWTS, onderzoek en redactie), dr David Duindam (UvA, secretaris) en drs. Martin Boekhout (BBMRI, assistent onderzoeker). In 2013/2014 trad drs. Hotze Mulder (UvA) op als projectsecretaris.