Bij kwantitatieve onderbouwing denkt men al snel aan het tellen van publicaties en citaties. Maar dit zijn niet de enige kwantitatieve methoden. In het overzicht van indicatoren worden verschillende andere voorbeelden gegeven, zoals de benutting van databases en infrastructuren, netwerken van productieve samenwerkingsverbanden, aantallen gebruikers van de uitkomsten van onderzoek uitgesplitst naar hun aard of achtergrond, aantallen reviews met hun kwalificaties, etc. Ook kan worden gedacht aan kwantitatieve beschrijvingen van de ontwikkelingen in onderzoeksprogramma’s (zie hiervoor ook: Robuuste data, en de daar genoemde voorbeelden).
Tellingen van citaties
Appendix E Merits and Metrics van het SEP noemt citaties van (d.w.z. verwijzingen naar) artikelen, boeken en andere producten als indicator van gebruik door collega- onderzoekers. Daarmee is minder gezegd over de kwaliteit dan over de impact van het onderzoek. Door het tellen van verwijzingen te presenteren in samenhang met inhoudelijke argumentatie over de kwaliteit van publicaties en andere output kunnen de uitkomsten evenwel meer betekenis krijgen.
Als het gaat om de mogelijkheden en beperkingen van citatie- en publicatietellingen in de Geesteswetenschappen, is het zinvol het volgende in het achterhoofd te houden:
- Bronnen voor tellingen: De uitkomsten van tellingen van verwijzingen in academische literatuur hangt af van de informatiebron die daarvoor wordt gebruikt: wordt er alleen geteld in tijdschriften of tellen ook andere academische bronnen mee. Voor de geesteswetenschappen ligt het meer voor de hand Google Scholar te gebruiken, omdat daarin ook met grotere regelmaat de verwijzingen die in boeken en andere documenten voorkomen worden meegenomen. Google Scholar is echter niet voor alle gebieden in de geesteswetenschappen bruikbaar.
- Taalafhankelijkheid: Publicaties in andere talen dan het Engels krijgen minder vaak verwijzingen omdat de verwijzende bronnen minder vaak voorkomen in databases zoals Scopus of Web of Science. Ook bij Google Scholar is dat het geval, hoewel minder exclusief.
- Levenscycli en publicatiemedia: Niet alle publicatiekanalen hebben dezelfde ‘levenscyclus’: zo worden proceedings en tijdschriftartikelen doorgaans het meest geciteerd in de eerste tijd na publicatie, terwijl de impact van bijvoorbeeld boeken of websites soms jaren later nog tot uitdrukking kan komen in citatietellingen. Citatietellingen die uitsluitend betrekking hebben op een kortere periode, geven daarom lang niet altijd een goed beeld van de impact van een publicatie. Vanuit die gedachte zou er gekozen kunnen worden voor andere manieren om die impact te laten zien, bijvoorbeeld de mate waarin publicaties leiden tot vervolgactiviteiten, zoals lezingen, symposia, nieuwe projecten, ook in het publieke domein (mede gelet op het hybride karakter van veel publicaties). Een bijzondere plaats in dit verband vormen de publicaties die dienen als (onderdeel van) les- en tekstboeken in diverse vormen van onderwijs,
Alternatieven voor JiF en H-index
Het gebruik van de Journal Impact Factor (JiF) en van de H-index als indicatoren van het belang van academische tijdschriften en auteurs is volgens het SEP niet toegestaan; dat geldt ook voor de geesteswetenschappen.
Het ligt niet voor de hand alternatieven voor de H-index te ontwikkelen: Voor een adequate vergelijking met anderen is de H-index te zeer afhankelijk van de senioriteit van de betreffende onderzoeker en het specifieke veld waarin deze werkt.
De in het SEP gesuggereerde indicatoren bieden wel alternatieven om uitspraken over de wetenschappelijke impact van het onderzoek van de eenheid te onderbouwen, te beginnen met de keuze voor bepaalde publicatiekanalen (tijdschriften, uitgeverijen) in relatie tot de strategie.