Robuuste, objectiveerbare data gaan over gegevens en beschrijvingen met hardheid van argument, overtuigingskracht en controleerbaarheid. Dat hoeft niet slechts kwantitatief te zijn, door tellingen. Het gaat veeleer om de aantoonbaarheid bij omschrijvingen van processen, (samenwerkings-)netwerken, of het tonen van de doorwerking van werk in dat van anderen; academisch, maatschappelijk of ook in combinatie daarvan. Zie de voorbeelden.
Deze paragraaf verwijst naar het SEP,l Appendix E: Merit and Metrics (p. 34).
Appendix E toont verschillende kwaliteitsdomeinen voor Onderzoek en Maatschappelijke relevantie, elk te onderscheiden naar de categorieën product, gebruik en erkenning. Voor elk van de categorieën suggereert het protocol diverse indicatoren, die al dan niet kwantitatief ingevuld kunnen worden. Zo zijn er uiteindelijk 6 categorieën.
Voor de geesteswetenschappen is daarbij het volgende van belang:
- Samenhang van de indicatoren: Tabel E1 is in de eerste plaats een hulpstuk. De te kiezen indicatoren voor onderzoek en relevantie passen weliswaar in de zes categorieën, maar zijn uiteindelijk afhankelijk van het overkoepelende doel, plan en proces van de onderzoekseenheid (Appendix B: Strategy – aims, plan and process, p. 29). Kies daarom voor indicatoren die in hun onderlinge samenhang het narratief ondersteunen zoals bedoeld bij Appendix B.
- De categorieën: De zes categorieën uit de tabel dienen niet los van elkaar te worden gezien:
- Aspecten: Kwaliteit van onderzoek en maatschappelijke relevantie zijn in veel geesteswetenschappelijk werk aspecten van dezelfde producten, hetzelfde gebruik of erkenning. Beschrijf daarom de producten, gebruik en erkenning in samenhang. Voorbeeld: reeksen/boeken met aantoonbaar maatschappelijk zowel als wetenschappelijk gebruik.
- Onderdeel van werkproces en ontwikkeling: Producten, gebruik en erkenning zijn proceskenmerken van het werk van onderzoekers in de loop van hun carrière, of van het onderzoek van een groep. Beschrijf daarom producten, gebruik en erkenning als aspecten van de strategische ontwikkeling van het onderzoek, bij voorkeur in langjarig verband. Voorbeeld: FASOS interdisciplinair werk.
- Profiel van de eenheid of sub-eenheid: niet alle geesteswetenschappelijk werk heeft hetzelfde profiel waar het gaat om specialisatie, internationale oriëntatie of samenwerking, het hangt af van het doel van de eenheid (zie SEP, p. 29). Beschrijf daarom de aard van de producten, gebruik en erkenning samenhangend met het profiel van de eenheid zoals dat in de strategie naar voren komt. Voor sub-eenheden, zie Aggregatieniveau
- Vergelijkingen: Onderzoekseenheden in de geesteswetenschappen zijn qua onderwerp, aanpak, en strategisch profiel veelal zo verschillend dat vergelijkingen tussen de eenheden op basis van kwantitatieve indicatoren moeilijk zal zijn: het vergelijken van appels met peren. Nuttiger is een kwalitatieve vergelijking, waarbij de eigen missie, strategie en uitkomsten worden afgezet tegen of vergeleken met die van verwante eenheden. Zie benchmarking
- Ontwikkeling: In het verlengde van het voorgaande: ook de eigen ontwikkeling, van de onderzoekseenheid zelf, kan het uitgangspunt vormen voor een vergelijking - met zichzelf dus. à Beschrijf daarom hoe de onderzoekseenheid zich ontwikkeld heeft, met behulp van de relevante set van (kwantitatieve) indicatoren.