Vorige week verscheen het Nationaal onderzoek moslimdiscriminatie. ‘Flutonderzoek’, aldus de PVV. De BBB mopperde dat het onderzoek aan alle kanten rammelt. En het CDA schreef het af vanwege een ‘handjevol respondenten’.

Geweldig dat politici zo scherp zijn op de methodologische kwaliteit van onderzoek. Jammer dat ze deze kritische blik alleen opzetten bij onderzoek waarvan de uitkomsten hun niet bevallen. En helemaal jammer dat ze het verschil is tussen kwantitatief en kwalitatief onderzoek niet lijken te kennen.

Kwantitatief onderzoek verzamelt gegevens in de vorm van cijfers, bijvoorbeeld om verbanden te zoeken. Kwalitatief onderzoek analyseert non-numerieke gegevens, bijvoorbeeld om ervaringen van anderen te begrijpen. Ik vraag mijn studenten weleens wie van hen liever kwantitatief dan kwalitatief onderzoek doet.

Meestal gaat dan een groot aantal van de handen omhoog en kan ik bijvoorbeeld vaststellen dat 86 procent van de studenten de voorkeur geeft aan kwantitatief onderzoek. Maar als ik dan vraag waarom ze liever kwantitatief onderzoek hebben, kunnen ze daarop geen cijfermatig antwoord geven. Kwantitatief onderzoek geeft inzicht in het wat en hoeveel, kwalitatief onderzoek in het waarom en hoe. Ze kunnen allebei waardevolle inzichten opleveren en hebben andere kwaliteitsmaten.

Deze week testte ik de reacties van een aantal wetenschappers als ik begon over een onderzoek met 44 respondenten. In mijn kleine steekproef zeiden alle kwantitatieve onderzoekers onmiddellijk ‘wat weinig’ en alle kwalitatieve onderzoekers ‘wat veel’.

Bij kwantitatief onderzoek heb je namelijk doorgaans grote hoeveelheden data nodig om een valide analyse te kunnen doen. Hoeveel respondenten voldoende zijn, hangt onder andere af van hoe groot het onderzochte effect is en de gebruikte statistische testen. Maar het zijn er vrijwel altijd meer dan honderd.

Dat is anders bij kwalitatief onderzoek waarbij je een overzicht wilt krijgen van de soorten ervaringen die er bestaan (en niet tellen hoe vaak elke ervaring voorkomt). Hier is verzadiging de standaard: je stopt zodra je tijdens het verzamelen van data (bijna) geen nieuwe informatie meer krijgt. Richtlijnen noemen tussen de 9 en 17 respondenten, ook weer onder allerlei aannamen.

Ontwerpwetenschapper (en oud-collega-columnist) Jasper van Kuijk beschrijft in zijn boek Hoe makkelijk kun je het maken een slim experiment dat laat zien hoe kleine aantallen genoeg kunnen zijn om een goed overzicht te krijgen van wat er speelt. Zestig gebruikers van een softwarepakket werd gevraagd om problemen te rapporteren. Vervolgens werd er gekeken hoeveel problemen allerlei deelgroepjes van die gebruikers vonden.

Kleine groepjes van vijf gebruikers vonden gemiddeld liefst 86 procent van de problemen. Groepjes van tien gebruikers ontdekten gemiddeld 95 procent van de problemen en zelfs het allerslechtst presterende tiental rapporteerde nog 80 procent van alle problemen. Van Kuijk noemt ook de wet van de kleine aantallen: als in een test met weinig respondenten een probleem vaker terugkomt, is de kans klein dat dit in de praktijk een zeldzaam probleem is.

Terug naar het Nationaal onderzoek moslimdiscriminatie. Dat bestond uit een aantal delen: eerst een overzicht van wat bekend is uit de bestaande literatuur over moslimdiscriminatie (met daarin tientallen kwantitatieve, experimentele studies). Daarna een eigen verdiepende kwalitatieve studie naar hoe moslims discriminatie ervaren, om hun ervaringen beter te begrijpen. Die studie had 44 respondenten. Dat is dus niet ‘een handjevol’, maar een stevig aantal voor kwalitatief onderzoek.

Deze column verscheen op 4 april 2025 in de Volkskrant.