Op deze pagina is meer informatie te vinden over de bruikbaarheid en de beperkingen van bibliometrie (zoals citatieanalyse) voor de geesteswetenschappen.
- Wat zijn de mogelijkheden en beperkingen van databases zoals Google Scholar, Scopus en Web of Science
- Voorbeelden van Google Scholar analyses voor publicaties in een aantal domeinen
- Het gebruik van de H-index
Mogelijkheden en beperkingen van bibliometrie in de GW
Klassieke bibliometrie heeft aanzienlijke beperkingen bij gebruik in de geesteswetenschappen. Dat komt hoofdzakelijk door de gebruikte databronnen. Deze bestaan uit de gegevens die in een vooraf gedefinieerde set van wetenschappelijke tijdschriften te vinden zijn. Deze set bestaat vooral uit Engelstalige tijdschriften met een internationale scope (zoals Web of Science (WoS) of Scopus). Veel onderzoek in de GW wordt echter gepubliceerd in niet-Engelstalige tijdschriften die weliswaar een internationale oriëntatie en reputatie hebben, maar niet zijn opgenomen in de bovengenoemde data bronnen (Th. van Leeuwen 2013). Ook ontbreken in deze databases boeken en hoofdstukken in boeken in de databases. Zoals ook uit de profielen van de onderzoeksculturen blijkt zijn deze vormen van wetenschappelijke communicatie cruciaal voor de meeste domeinen in de GW. De klassieke bibliometrie kan wel uitkomst bieden in die domeinen van de GW waar internationaal georienteerde (Engelstalige) tijdschriften een belangrijke vorm van communiceren vormen (bijv taalkunde, linguistiek).
Google Scholar
Google Scholar is een andere mogelijkheid om bibliometrische gegevens te verzamelen. Scholar is een zoekmachine die bestanden doorzoekt van de meeste grote universitaire bibliotheken in de wereld, grote repositories, de volledige electronische versies van tijdschriften van de grotere uitgeverijen, en de boeken die door Google Books zijn geindexeerd en ontsloten. Deze bronnenset is veel groter dan die van WoS of Scopus, alhoewel het niet duidelijk is hoe groot. In vergelijking met WoS of Scopus biedt Google Scholar zeer veel meer informatie, inclusief verwijzingen in boeken en bundels naar andere boeken en bundels. Google Scholar is daarom in principe bruikbaar voor bibliometrie in de sociale en geesteswetenschappen (Prins et al, Research Evaluation, 2016).
Google Scholar heeft wel duidelijke beperkingen: niet alle tijdschriften worden geindexeerd, bijvoorbeeld omdat ze slechts voorkomen in bibliotheken die niet opengesteld zijn voor deze zoekmachine. Bovendien zijn niet alle manieren van verwijzingen geschikt voor ontsluiting door Google Scholar. Dit is afhankelijk van de redactionele voorschriften van bepaalde tijdschriften, en soms ook van de praktijken en culturen van verwijzingen in de verschillende domeinen van geesteswetenschappen.
Onderstaande grafiek laat het verschil tussen verschillende domeinen zien voor de mate waarin tijdschriften geindexeerd worden in Google Scholar, en mate waarin de cultuur van verwijzingen in dat domein voldoende passen in de werkwijze van deze zoekmachine. Daaruit blijkt dat bijvoorbeeld bij Kunstgeschiedenis minder dan de helft van het aantal door de panels genoemde tijdschriften door Google Scholar goed geindexeerd te worden, en dat de meeste van de tijdschriften die wel geindexeerd worden ook een afwijkende verwijzingscultuur hebben. Google Scholar is dus zeker niet toepasbaar voor het domein Kunstgeschiedenis. Voor Islam Studies en Culturele Studies ligt dat wat anders, alhoewel daar tijdschriften in andere talen dan Engels minder goed geindexeerd worden, zodat ook daar de bruikbaarheid van Scholar beperkingen kent.
Waarom de h- index niet werkt bij onderzoeksevaluatie, ook niet in de GW
Definitie: Een wetenschappelijk onderzoeker heeft index h als h van zijn of haar in totaal N publicaties ten minste h maal geciteerd zijn in andere publicaties, en de andere (N-h) publicaties niet meer dan h maal geciteerd zijn.
De h-index is een vrij eenvoudige bibliometrische indicator om de wetenschappelijke impact van een onderzoeker te berekenen, bedacht door de Argentijns-Amerikaanse natuurkundige Jorge E. Hirsch. Bij de oorspronkelijke berekening van de h-index spelen tijdschriftpublicaties uit de databases van Web of Science en Scopus een grote rol. Deze bias kan deels worden opgelost Google Scholar te gebruiken. Maar dan krijg je dus drie verschillende scores, wat ook weer problematisch is. Echter, ook de berekening in Google Scholar is niet vrij van problemen, want daar is het niet duidelijk hoe citaties worden verzameld. Belanrijker is dat bij de berekening van de H-index elk zicht op vakgebiedspecifieke ijking ontbreekt (maar dat geldt tevens voor WoS en Scopus). Verder heeft de H-index nog een aantal specifieke technische problemen, bij de bepaling bijv. rondom het uiteenrafelen van oeuvres van onderzoekers, (het probleem van homoniemen en synoniemen), maar ook dat het veel-publiceren in de hand werkt, salami slicing (het opdelen van samenhangende onderzoeksuitkomsten in meerdere publicaties) lijkt te propageren, one indicator thinking in de hand werkt, en andere academische karakteristieken verwaarloost.