Herhalen om vooruit te komen: replicatiestudies in historisch onderzoek

Na een aantal grote schandalen in de sociale wetenschappen rond het vervalsen van onderzoeksgegevens is er een cultuuromslag binnen de universiteiten op gang gekomen. Er is meer nadruk gekomen op onderzoeksethiek en er is een experiment opgestart met het financieren van replicatiestudies. Deze replicatiestudies houden in dat de conclusies van een onderzoek getest worden door het onderzoek opnieuw uit te voeren en te kijken of de resultaten bij een dergelijke herhaling hetzelfde zijn als bij de oorspronkelijke studie. 

Replicatieonderzoek toepassen op alle wetenschappen

De Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO) en ZonMW hebben besloten dat zij het aanmoedigen van replicatieonderzoek willen uitbreiden naar de geesteswetenschappen. De wetenschapspraktijk tussen de geesteswetenschappen en de gamma- en bètawetenschappen zijn echter zo verschillende dat het nodig was om de oproep tot het doen van onderzoeksvoorstellen aan te passen. De nieuwe oproep is hier te zien. Historici zouden er goed aan doen de mogelijkheden te verkennen om replicatiestudies bij NWO voor te stellen.

Het is gangbaar om drie soorten replicatie te onderscheiden.

1. Reproductie van het oorspronkelijke onderzoek. De onderzoeker handhaaft de vraag van het oorspronkelijke onderzoek en analyseert opnieuw de gegevens uit de oorspronkelijke studie. Dit komt in de meest eenvoudige vorm neer op het nalopen van de voetnoten van de oorspronkelijke studie. In een uitgebreidere vorm zou het neerkomen op het herlezen van de door de onderzoeker gebruikte literatuur en bronnen. 
2. Replicatie met nieuwe gegevens. We stellen dezelfde vraag, gebruiken ook dezelfde methode, maar kiezen voor een ander archief of een uitbreiding van de oorspronkelijke selectie. Wat als we andere kronieken lezen dan Huizinga, blijven zijn conclusies over het laatmiddeleeuwse hofleven dan nog houdbaar, of zijn ze aan herziening toe?
3. Conceptuele replicatie. Replicatie met de zelfde vraagstelling, maar een andere selectie van bronnen en een  andere onderzoeksaanpak. Blijven de conclusies van Tannebaum over het verschil tussen katholieke en protestantse slavensamenlevingen overeind als we niet Brazilië en de VS vergelijken, maar andere samenlevingen tegen het licht houden?

Replicatiestudies binnen de geesteswetenschappen

Niet alle geesteswetenschappers zijn enthousiast over het aanmoedigen van replicatiestudies in hun vakgebied. In het tijdschrift Nature (dat overigens niet door erg veel geesteswetenschappers gelezen zal worden) werd een oproep gedaan om ons te verzetten tegen de opmars van replicatiestudies in de geesteswetenschappen. Het zou volgens de opstellers niet goed zijn om een wetenschapsgebied waarin de nadruk ligt op interpretatie door middel van replicatie te formaliseren. Replicatie zou de vrijheid van geesteswetenschappers inperken door te suggereren dat er een objectief en meetbaar antwoord zou zijn op geesteswetenschappelijke vragen. 

Het is inderdaad zo dat de waarde van veel geesteswetenschappelijk onderzoek niet zit in de exactheid en reproduceerbaarheid, maar juist in de creativiteit van de onderzoeker. Het is echter niet zo dat er alleen maar niet-empirische geesteswetenschappen zijn. Juist geschiedenis kent sterk empirische deelgebieden die zich lenen voor replicatie.

Terug naar de hoekstenen van vernieuwend onderzoek

Er wordt tegenwoordig zoveel nadruk gelegd op innovatie en het doen van nieuw onderzoek, dat we vergeten om te controleren of de grond waarop we die vernieuwing bouwen wel solide is. Welke historicus ergert zich nooit aan de manier waarop generaties voorgangers klakkeloos verkeerde aannames van elkaar hebben overgeschreven? Een deel van die ergernis is de wetenschap dat de correctie ervan ergens in een voetnoot zal verdwijnen. Vaak gaat het om kleine ergernissen, maar wat als hoekstenen van onze deelgebieden op drijfzand blijken te zijn gebouwd? Formalisering en institutionalisering kunnen bijdragen aan het herstel van maatschappelijk vertrouwen in de beroepspraktijk en zo ook de zeggingskracht van ons werk kunnen vergroten. Historici en ook andere geesteswetenschappers zouden er goed aan doen de oproep voor replicatie serieus te nemen. 

De oproep van NWO voor replicatieonderzoek is nog enigszins beperkt. De soort replicatie die we als historici het liefste doen, de conceptuele replicatie, kan binnen het kader van het programma niet worden aangevraagd. Toch zouden we erg goed aan doen onze creativiteit eens te richten op de mogelijkheden die de verschillende vormen van replicatie zouden kunnen bieden. We zouden ze onderdeel kunnen maken van lopende onderzoeken, of feitelijke replicaties binnen ons huidige onderzoek als zodanig kunnen benoemen.  

Karwan Fatah-Black is universitair docent bij de opleiding geschiedenis van de Universiteit Leiden, bestuurslid KNHG en tevens lid van de Programmacommissie Replicatiestudies van NWO.