Ionica Smeets

Hoogleraar wetenschapscommunicatie – Universiteit Leiden

  • Vorige week verscheen het Nationaal onderzoek moslimdiscriminatie. ‘Flutonderzoek’, aldus de PVV. De BBB mopperde dat het onderzoek aan alle kanten rammelt. En het CDA schreef het af vanwege een ‘handjevol respondenten’.

    Geweldig dat politici zo scherp zijn op de methodologische kwaliteit van onderzoek. Jammer dat ze deze kritische blik alleen opzetten bij onderzoek waarvan de uitkomsten hun niet bevallen. En helemaal jammer dat ze het verschil is tussen kwantitatief en kwalitatief onderzoek niet lijken te kennen.

    Kwantitatief onderzoek verzamelt gegevens in de vorm van cijfers, bijvoorbeeld om verbanden te zoeken. Kwalitatief onderzoek analyseert non-numerieke gegevens, bijvoorbeeld om ervaringen van anderen te begrijpen. Ik vraag mijn studenten weleens wie van hen liever kwantitatief dan kwalitatief onderzoek doet.

    Meestal gaat dan een groot aantal van de handen omhoog en kan ik bijvoorbeeld vaststellen dat 86 procent van de studenten de voorkeur geeft aan kwantitatief onderzoek. Maar als ik dan vraag waarom ze liever kwantitatief onderzoek hebben, kunnen ze daarop geen cijfermatig antwoord geven. Kwantitatief onderzoek geeft inzicht in het wat en hoeveel, kwalitatief onderzoek in het waarom en hoe. Ze kunnen allebei waardevolle inzichten opleveren en hebben andere kwaliteitsmaten.

    Deze week testte ik de reacties van een aantal wetenschappers als ik begon over een onderzoek met 44 respondenten. In mijn kleine steekproef zeiden alle kwantitatieve onderzoekers onmiddellijk ‘wat weinig’ en alle kwalitatieve onderzoekers ‘wat veel’.

    Bij kwantitatief onderzoek heb je namelijk doorgaans grote hoeveelheden data nodig om een valide analyse te kunnen doen. Hoeveel respondenten voldoende zijn, hangt onder andere af van hoe groot het onderzochte effect is en de gebruikte statistische testen. Maar het zijn er vrijwel altijd meer dan honderd.

    Dat is anders bij kwalitatief onderzoek waarbij je een overzicht wilt krijgen van de soorten ervaringen die er bestaan (en niet tellen hoe vaak elke ervaring voorkomt). Hier is verzadiging de standaard: je stopt zodra je tijdens het verzamelen van data (bijna) geen nieuwe informatie meer krijgt. Richtlijnen noemen tussen de 9 en 17 respondenten, ook weer onder allerlei aannamen.

    Ontwerpwetenschapper (en oud-collega-columnist) Jasper van Kuijk beschrijft in zijn boek Hoe makkelijk kun je het maken een slim experiment dat laat zien hoe kleine aantallen genoeg kunnen zijn om een goed overzicht te krijgen van wat er speelt. Zestig gebruikers van een softwarepakket werd gevraagd om problemen te rapporteren. Vervolgens werd er gekeken hoeveel problemen allerlei deelgroepjes van die gebruikers vonden.

    Kleine groepjes van vijf gebruikers vonden gemiddeld liefst 86 procent van de problemen. Groepjes van tien gebruikers ontdekten gemiddeld 95 procent van de problemen en zelfs het allerslechtst presterende tiental rapporteerde nog 80 procent van alle problemen. Van Kuijk noemt ook de wet van de kleine aantallen: als in een test met weinig respondenten een probleem vaker terugkomt, is de kans klein dat dit in de praktijk een zeldzaam probleem is.

    Terug naar het Nationaal onderzoek moslimdiscriminatie. Dat bestond uit een aantal delen: eerst een overzicht van wat bekend is uit de bestaande literatuur over moslimdiscriminatie (met daarin tientallen kwantitatieve, experimentele studies). Daarna een eigen verdiepende kwalitatieve studie naar hoe moslims discriminatie ervaren, om hun ervaringen beter te begrijpen. Die studie had 44 respondenten. Dat is dus niet ‘een handjevol’, maar een stevig aantal voor kwalitatief onderzoek.

    Deze column verscheen op 4 april 2025 in de Volkskrant.

  • ‘Eierprijzen zijn verdrievoudigd […] ze stegen sinds januari 2005 met 310 procent’, schreef The Guardian deze week. De Britse krant maakte hierbij een klassieke fout, want een stijging met 310 procent is een ruime verviervoudiging. In dit geval steeg de prijs van een dozijn eieren van 1,21 dollar begin 2005 naar 4,95 dollar nu.

    Het gaat vaak mis met dit soort relatieve toenamen, dat is waarom ik ook altijd zo graag de ruwe getallen wil zien. Zeker als iemand schrijft: ‘drie keer meer dan’. Als wiskundige lees ik in ‘drie keer meer dan’ namelijk een verviervoudiging (de originele hoeveelheid plus drie keer extra die hoeveelheid), maar de meeste mensen bedoelen met deze uitdrukking ‘drie keer zoveel als’. De TaalUnie schrijft hierover fijntjes: ‘Gewone taal volgt niet altijd strikt rekenkundige principes.’

    The Guardian paste de kop na een dag overigens aan en noemt de stijging inmiddels netjes een verviervoudiging. Helaas staat er wel nog steeds een misleidende grafiek in hun analyse van inflatie in de Verenigde Staten (waarbij dus vooral eierprijzen de pan uitrijzen). Een illustratie toont van tien producten steeds in twee plaatjes de prijsstijging tussen 2005 en nu. Dit is hoe die van een hele kip werd getoond:

    Zoals we zien aan de bedragen eronder, verdubbelde de prijs van deze kip. Maar het plaatje laat dat zien door zowel de lengte als de breedte te verdubbelen, waardoor de rechterafbeelding vier keer zo groot is als de linker (en dan laat ik de vermoedelijke hoogte nog buiten beschouwing). Ook dit is een klassieke fout.

    Ik vroeg me af hoe de eierprijs in Nederland steeg tussen 2005 en nu. Het Centraal Bureau voor de Statistiek heeft een handige tabel met gemiddelde voedselprijzen zodat je die door de tijd heen kunt vergelijken. Zo kostten tien eieren 1,40 euro in 2005. Helaas bleek de huidige eierprijs een stuk lastiger te vinden. De tabel van het CBS liep maar tot 2018.

    Op zoek naar de meest actuele cijfers belandde ik op het eierdashboard van de Europese Commissie, een hallucinante mix van allerlei grafieken en tabellen waarvan ik nog steeds aan het hyperventileren ben.

    Toen bedacht ik dat dit een column is en geen peer-reviewed onderzoeksartikel en dat er grenzen zijn aan hoever ik dingen uitzoek terwijl allerlei collega’s gewoon lekker hun mening uittypen. Dus keek ik domweg wat de tien eieren kostten die ik gisteren kocht, dat was 3,99 euro. Als ik gemiddelde eieren kocht in 2005, dan stegen mijn eierprijzen met 185 procent.

    Tot slot een rekenvraag over taal: dat malle dubbele meervoud eieren heeft drie keer zoveel letters als het enkelvoud ei. Is er een woord waarbij dit extremer is?

    Deze column verscheen op 28 maart 2025 in de Volkskrant.

    Ingestuurde reacties op de vraag over extreme meervouden waren onder andere:

    enkelvoudmeervoudveelvoud
    uulieden7
    ujullie6
    zzetten6
    ararrensleeën5,5
    feffen5
    gijgijlieden4
    bbees4
    bodbiedingen3
    lamlammeren2,67
    ararren2,5
    asassen2,5
    egeggen2,5
    elellen2,5
    esessen2,5
    ikikken2,5
    isissen2,5
    lalades2,5
    beenbeenderen2,25
    hoenhoenderen2,25
    kindkinderen2

  • Terwijl cabaretier Donny Ronny vol overgave danste op het podium, dacht ik op rij zes na over de parallellen tussen zijn werk en de wetenschap. De voorstelling Donny Ronny Danst kreeg nogal uiteenlopende recensies. Vier sterren in NRC, maar in de Volkskrant gaf Annette Embrechts slechts één ster.

    Ooit zat ik in een wetenschappelijke jury waarin we dertig onderzoeksprojecten moesten beoordelen op kwaliteit, innovatie en maatschappelijke relevantie. Eén voorstel eindigde bij het ene jurylid op nummer één en bij het andere op nummer dertig. Die twee juryleden kwamen uit verschillende vakgebieden en hadden totaal andere standaarden voor wat goed, vernieuwend en belangrijk onderzoek was. Wetenschappers kunnen dus net als theaterrecensenten totaal andere ideeën hebben over wat kwaliteit is, sterk afhankelijk van de bril waarmee ze kijken.

    Terug naar Donny Ronny (en een andere parallel met de wetenschap). Tijdens zijn openingsdans werd onmiddellijk duidelijk dat hij geen professionele danser is. Ik vroeg me af hoeveel hij improviseerde. Deed hij maar wat met die pasjes? Hoe serieus nam hij zijn eigen voorstelling eigenlijk? Toen hij daarna doodleuk nog eens precies hetzelfde nummer deed, met precies dezelfde bewegingen, had ik mijn antwoord. Het is net als in de wetenschap: een eenmalig resultaat bewijst weinig. Pas als je het een tweede keer kunt herhalen met hetzelfde resultaat, dan heb je echt iets.

    Tegen het einde van de voorstelling deelde Donny Ronny een brief uit aan de zaal en terwijl hij lullig langs de rijen liep met een stapel A4’tjes, kreeg ik flashbacks naar talrijke wetenschappelijke bijeenkomsten waar we de hand-out ook even moesten doorgeven.

    In deze brief schrijft Gover Meit (de kunstenaar achter de artiestennaam Donny Ronny en eerder Stefano Keizers): ‘Mijn voorstelling gaat over de waarde van amateurisme binnen het professionele podium.’ Ik mijmerde over wat amateurisme nu eigenlijk betekent. Hoe ver mag je buiten je eigen domein stappen voor je weer een amateur bent? Waar ligt de grens tussen amateurs en professionals bij wetenschap? En wanneer verloopt expertise eigenlijk? Sinds mijn proefschrift uit 2010 heb ik niet meer in de wiskunde gewerkt, toch noemt niemand me een amateur als ik word aangekondigd als wiskundige.

    Meits brief was gericht aan Conny Janssen. De poster van Donny Ronny leek namelijk nogal op de posters van haar vermaarde dansgezelschap Conny Janssen Danst – en Janssen had hem vriendelijk verzocht om duidelijk te maken dat zijn voorstelling niets met haar werk te maken had. De volgende ochtend stuurde een van de vriendinnen met wie ik naar Donny Ronny Danst ging een fragment uit de talkshow Bar Laat met een heel open gesprek tussen Meit en Janssen. Waarbij Janssen zei dat ze met enorme bewondering en respect had gekeken naar deze voorstelling van een performancekunstenaar.

    En toen kwam als verrassing de éénsterrenrecensent uit de coulissen die, ook best dapper, haar recensie kwam toelichten. Ze noemde daarbij voorbeelden van dansvoorstellingen met amateurs die ze wél goed vond. Al die voorbeelden leken één ding gemeen te hebben: ze waren gemaakt door professionele choreografen mét amateurs. Net zoals burgerwetenschappers doorgaans pas serieus worden genomen als ze samenwerken met professionele onderzoekers. Maar dat is iets voor een aparte column.

    Deze column verscheen op 20 maart 2025 in de Volkskrant.

  • Vorige week was ik uitgenodigd bij het Nationaal Burgerberaad Klimaat en dat vond ik zowel ontzettend tof als ontzettend spannend. In dit burgerberaad buigen 175 mensen zich een half jaar lang over de vraag: hoe kunnen we als Nederland eten, spullen gebruiken en reizen op een manier die beter is voor het klimaat? Uiteindelijk geeft het burgerberaad hierover een advies aan het kabinet.

    De deelnemers zijn geselecteerd door loting. Eerst kregen zeventigduizend willekeurig gekozen mensen uit het niets een uitnodigingsbrief (bijna alsof je op een dag hoort dat je naar tovenaarsschool Zweinstein mag). Vervolgens zijn uit de aanmeldingen op een zodanige manier 175 deelnemers geloot dat het beraad qua samenstelling zoveel mogelijk lijkt op de Nederlandse bevolking, waarbij gelet werd op geslacht, leeftijd, opleidingsniveau, provincie en mening over het klimaatbeleid. Ontzettend tof.

    Voor de sessie van vorige week hadden de burgers vijftig deskundigen uitgenodigd, zowel vanuit theorie als praktijk en ook met allerlei verschillende opvattingen. Ik was gevraagd omdat ze met mij wilden praten over hoe wetenschap werkt en hoe je kunt beoordelen of informatie betrouwbaar is. Nogmaals: ontzettend tof. Maar ik vond het dus ook ontzettend spannend. Hoe zou het zijn om met burgers in gesprek te gaan die sceptisch zijn tegenover wetenschap? Want die moesten er ook wel tussen zitten.

    Uiteindelijk sprak ik vier keer een uur met een groep van ongeveer tien mensen (samen met moderator Michaël Bloos en tekenaar Janneke de Boer, die een visueel verslag maakte voor wie er niet bij kon zijn). Elk gesprek was totaal anders, afhankelijk van wie er zaten. We spraken over het verschil tussen misinformatie (onjuiste informatie die verspreid wordt zonder verkeerde bedoelingen) en desinformatie (onjuiste informatie die bewust wordt verspreid om mensen te misleiden).

    Mensen vroegen hoe je (on)betrouwbare informatie kunt herkennen (onder andere door de bron te controleren, te vragen of die wel de juiste expertise heeft en door te kijken of er consensus is over deze informatie – en door dit vooral extra goed te doen bij dingen die precies passen bij waar jij zelf in gelooft). We spraken over open wetenschap, onafhankelijk onderzoek, het laten zien van twijfel door experts en over hoe persoonlijke waarden vaak minstens zo belangrijk zijn als feiten.

    Ik sprak verschillende burgers die sceptisch stonden tegenover wetenschap, maar welwillend genoeg waren om het gesprek aan te gaan. Superinteressant, want dit soort mensen kom je als wetenschapper te weinig tegen en het was goed om hun visie te horen. Zo leer je als uitgenodigde deskundige ook iets van het burgerberaad.

    Ik vond het allemaal enorm hoopgevend, al die mensen uit allerlei verschillende plekken in ons land, met hun eigen idealen en opvattingen, die maandenlang samen nadenken. Veel van hen maakten zich zorgen over of het kabinet hun adviezen zou overnemen. Het mooiste vond ik een deelnemer die zei: ‘Ik hoop dat er iets met onze adviezen gebeurt, ook als ik het zelf niet met die adviezen eens ben.’ Dat is een geweldig soort toewijding.

    Ik ga hun advies straks helemaal lezen en ik hoop dat veel anderen dat ook zullen doen.

    Deze column verscheen op 14 maart 2025 in de Volkskrant.