De lijsten van tijdschriften en uitgeverijen zijn ook bruikbaar om het productieprofiel van een instituut of onderzoekseenheid te beschrijven, als ondersteuning van het narratief. Dat kan bijvoorbeeld door gebruik te maken van de onderverdeling van de tijdschrift-lijsten naar de doelgroepen Subdomein, Domein, Multidisciplinair en Hybride. Artikelen uit de feitelijk gerealiseerde output van de onderzoekseenheid kunnen naar doelgroep worden geclassificeerd. Vanzelfsprekend is dat alleen mogelijk voor artikelen die verschenen zijn in de door de panels geselecteerde tijdschriften.

 

Als voorbeelden geven we de profielen van onderzoekers van de faculteiten Geesteswetenschappen van de Universiteit Leiden en van de UvA, die lid zijn van de onderzoeksscholen Huizinga, Kunstgeschiedenis, NOSTER, LOT en NICA en van onderzoekers van een selectie van vijf van de onderzoekseenheden van het ICOG van de Rijksuniversiteit Groningen. Deze verschillen zijn niet normatief te duiden, maar geven een indicatie van de specifieke onderzoekscultuur van de desbetreffende onderzoeksgroep. (Tekst loopt door na twee figuren)

 

 

 

Een vergelijking van de productieprofielen van onderzoekers van de school voor Taalkunde (Linguistics) van Leiden en UvA laat zien dat beide groepen onderzoekers veel meer dan hun collegas van andere scholen een specialistisch profiel hebben, en dat zij onderling verschillen doordat de onderzoekers van de UvA weer meer specialistisch publiceren dan hun collega Taalwetenschap uit Leiden. Bij Cultuur Studies zijn er ook verschillen te zien: Leidse onderzoekers zijn hier meer multi- of interdisciplinair georienteerd dan de Amsterdamse onderzoekers.

 

 

Op deze pagina is meer informatie te vinden over de bruikbaarheid en de beperkingen van bibliometrie (zoals citatieanalyse) voor de geesteswetenschappen.

• Wat zijn de mogelijkheden en beperkingen van databases zoals Google Scholar, Scopus en Web of Science
• Voorbeelden van Google Scholar analyses voor publicaties in een aantal domeinen
• Het gebruik van de H-index

 

Mogelijkheden en beperkingen van bibliometrie in de GW

Klassieke bibliometrie heeft aanzienlijke beperkingen bij gebruik in de geesteswetenschappen. Dat komt hoofdzakelijk door de gebruikte databronnen. Deze  bestaan uit de gegevens die in een vooraf gedefinieerde set van wetenschappelijke tijdschriften te vinden zijn. Deze set bestaat vooral uit Engelstalige tijdschriften met een internationale scope (zoals Web of Science (WoS) of Scopus). Veel onderzoek in de GW wordt echter gepubliceerd in niet-Engelstalige tijdschriften die weliswaar een internationale oriëntatie en reputatie hebben, maar  niet zijn opgenomen in de bovengenoemde data bronnen (Th. van Leeuwen 2013). Ook ontbreken in deze databases boeken en hoofdstukken in boeken in de databases. Zoals ook uit de profielen van de onderzoeksculturen blijkt zijn deze vormen van wetenschappelijke communicatie cruciaal voor de meeste domeinen in de GW. De klassieke bibliometrie kan wel uitkomst bieden in die domeinen van de GW waar internationaal georienteerde (Engelstalige) tijdschriften een belangrijke vorm van communiceren vormen (bijv taalkunde, linguistiek).

 

Google Scholar

Google Scholar is een andere mogelijkheid om bibliometrische gegevens te verzamelen. Scholar is een zoekmachine die bestanden doorzoekt van de meeste grote universitaire bibliotheken in de wereld, grote repositories, de volledige electronische versies van tijdschriften van de grotere uitgeverijen, en de boeken die door Google Books zijn geindexeerd en ontsloten. Deze bronnenset is veel groter dan die van WoS of Scopus, alhoewel het niet duidelijk is hoe groot. In vergelijking met WoS of Scopus biedt Google Scholar zeer veel meer informatie, inclusief verwijzingen in boeken en bundels naar andere boeken en bundels. Google Scholar is daarom in principe bruikbaar voor bibliometrie in de sociale en geesteswetenschappen (Prins et al, Research Evaluation, 2016).

 

Google Scholar heeft wel duidelijke beperkingen: niet alle tijdschriften worden geindexeerd, bijvoorbeeld omdat ze slechts voorkomen in bibliotheken die niet opengesteld zijn voor deze zoekmachine. Bovendien zijn niet alle manieren van verwijzingen geschikt voor ontsluiting door Google Scholar. Dit is afhankelijk van de redactionele voorschriften van bepaalde tijdschriften, en soms ook van de praktijken en culturen van verwijzingen in de verschillende domeinen van geesteswetenschappen.

 

Onderstaande grafiek laat het verschil tussen verschillende domeinen zien voor de mate waarin tijdschriften geindexeerd worden in Google Scholar, en mate waarin de cultuur van verwijzingen in dat domein voldoende passen in de werkwijze van deze zoekmachine. Daaruit blijkt dat bijvoorbeeld bij Kunstgeschiedenis minder dan de helft van het aantal door de panels genoemde tijdschriften door Google Scholar goed geindexeerd te worden, en dat de meeste van de tijdschriften die wel geindexeerd worden ook een afwijkende verwijzingscultuur hebben. Google Scholar is dus zeker niet toepasbaar voor het domein Kunstgeschiedenis. Voor Islam Studies en Culturele Studies ligt dat wat anders, alhoewel daar tijdschriften in andere talen dan Engels minder goed geindexeerd worden, zodat ook daar de bruikbaarheid van Scholar beperkingen kent.

 

 

 

Waarom de h- index niet werkt bij onderzoeksevaluatie, ook niet in de GW

Definitie: Een wetenschappelijk onderzoeker heeft index h als h van zijn of haar in totaal N publicaties ten minste h maal geciteerd zijn in andere publicaties, en de andere (N-h) publicaties niet meer dan h maal geciteerd zijn.

De h-index is een vrij eenvoudige bibliometrische indicator om de wetenschappelijke impact van een onderzoeker te berekenen, bedacht door de Argentijns-Amerikaanse natuurkundige Jorge E. Hirsch. Bij de oorspronkelijke berekening van de h-index spelen tijdschriftpublicaties uit de databases van Web of Science en Scopus een grote rol. Deze bias kan deels worden opgelost Google Scholar te gebruiken. Maar dan  krijg je dus drie verschillende scores, wat ook weer  problematisch is. Echter, ook de berekening in Google Scholar is niet vrij van problemen, want daar is het niet duidelijk hoe citaties worden verzameld. Belanrijker is dat bij de berekening van de H-index elk zicht op vakgebiedspecifieke ijking ontbreekt (maar dat geldt tevens voor WoS en Scopus). Verder heeft de H-index nog een aantal specifieke technische problemen, bij de bepaling bijv. rondom het uiteenrafelen van oeuvres van onderzoekers, (het probleem van homoniemen en synoniemen), maar ook dat het veel-publiceren in de hand werkt, salami slicing (het opdelen van samenhangende onderzoeksuitkomsten in meerdere publicaties) lijkt te propageren, one indicator thinking in de hand werkt, en andere academische karakteristieken verwaarloost.