Signaal en ruis in de beoordeling: hoe betrouwbaar is het oordeel over een subsidieaanvraag?

Een afwijzing voelt al snel als een oordeel over de kwaliteit van je onderzoek. Maar hoeveel van dat oordeel gaat werkelijk over het voorstel en hoeveel over de reviewers die het toevallig beoordelen? Toen 43 ervaren reviewers dezelfde 25 NIH-aanvragen herbeoordeelden, aanvragen die in werkelijkheid allemaal waren gehonoreerd, was de geschatte overeenstemming tussen hen nul, met een 95%-betrouwbaarheidsinterval van 0 tot 0,14 (Pier et al., 2018). Dit artikel laat zien hoe groot de toevalscomponent in de beoordeling kan zijn, en waar een onderzoeker wél invloed op heeft.

Reviewers zijn het oneens, ook over goede aanvragen

De studie van Pier en collega's is ongemakkelijk precies. Vijfentwintig reeds gehonoreerde NIH-aanvragen werden voorgelegd aan 43 ervaren reviewers, die ze beoordeelden volgens de gangbare NIH-systematiek. De overeenstemming tussen reviewers (inter-rater reliability), oftewel de mate waarin zij tot dezelfde rangorde komen, kwam uit op 0 (95% BI 0 tot 0,14). Reviewers maakten geen betrouwbaar onderscheid tussen goede en uitstekende aanvragen (Pier et al., 2018).

Dat betekent niet dat peer review niets onderscheidt. Het betekent dat het onderscheid binnen de groep goede aanvragen grotendeels niet reproduceerbaar is. Dat getal is methodologisch bediscussieerd, onder meer omdat een vooraf geselecteerde groep gehonoreerde aanvragen weinig spreiding in onderliggende kwaliteit heeft, wat een lage gemeten betrouwbaarheid deels kan verklaren. Die nuance verandert het exacte getal, niet de richting van de bevinding.

Een kwart van de uitslagen kan anders uitvallen

Het patroon is niet nieuw. Al in 1981 lieten Cole, Cole en Simon het zien voor de Amerikaanse National Science Foundation. Zij lieten 150 NSF-voorstellen onafhankelijk opnieuw beoordelen door een nieuwe groep reviewers. In ongeveer een kwart van de gevallen zou de nieuwe beoordeling tot de tegenovergestelde uitkomst hebben geleid: eerder afgewezen voorstellen zouden zijn gehonoreerd, en eerder gehonoreerde voorstellen afgewezen (Cole et al., 1981).

Belangrijk: zij vonden geen aanwijzing voor systematische vooringenomenheid in de selectie van reviewers. De variatie was geen bias maar ruis. Of een voorstel werd gehonoreerd hing in een groot deel van de gevallen af van welke reviewers het voorstel toevallig toegewezen kregen.

Rond de honoreringsgrens beslist toeval mee

Wat gebeurt er als je die ruis doorrekent naar concrete uitkomsten? Graves, Barnett en Clarke deden dat voor een projectronde van de Australische NHMRC uit 2009, goed voor meer dan 350 miljoen Australische dollar. Door de variatie tussen panelleden als toevalsvariatie te modelleren, deelden ze aanvragen in drie groepen: altijd gehonoreerd, nooit gehonoreerd, en soms wel en soms niet. Negen procent viel altijd binnen de honorering, 61 procent nooit en 29 procent zat in de onzekere middengroep (Graves et al., 2011).

Anders gezegd: van de 620 gehonoreerde aanvragen werd 59 procent in sommige simulaties juist niet gehonoreerd. De spreiding verschilde bovendien sterk per panel. Het meest consistente panel plaatste 19 procent in de onzekere groep, het minst consistente 49 procent. De honoreringsgrens loopt dwars door precies dat onzekere middensegment.

Boven de grens voorspelt de score de opbrengst nauwelijks

Je zou kunnen tegenwerpen dat een gedetailleerde rangorde binnen de top alsnog de beste wetenschap selecteert. De data ondersteunen dat zwak. Fang, Bowen en Casadevall analyseerden 102.740 gefinancierde NIH-aanvragen met een percentielscore van 20 of beter. Binnen die groep was de percentielscore een slechte voorspeller van de latere productiviteit (Fang et al., 2016). Boven de honoreringsgrens zegt het verschil tussen een goede en een net iets betere score weinig over wat het onderzoek uiteindelijk oplevert.

Wat fondsen met die ruis zijn gaan doen

Als het onderscheid binnen de middengroep deels ruis is, dan is een fijnmazige rangorde daarvan een dure schijnzekerheid. Verschillende nationale fondsen trekken die conclusie en gebruiken inmiddels een gedeeltelijke loting. Aanvragen die niet financierbaar zijn vallen af; uitstekende aanvragen krijgen direct financiering; de grote middengroep van aanvragen die goed genoeg zijn voor financiering gaat de loting in.

Pilots draaien bij de Health Research Council van Nieuw-Zeeland (sinds 2013), de Volkswagen Foundation (2017), het Zwitserse SNSF (2018), het Oostenrijkse FWF (2019) en de British Academy (2022) (Nature, 2022; RoRI/SNSF/EMBO, 2023). De loting vervangt peer review niet. Ze erkent dat peer review de uitersten betrouwbaar herkent en het midden niet. Ze maakt die onzekerheid expliciet in plaats van haar te verbergen achter een decimaal in de ranglijst.

Wat dit betekent voor de onderzoeker

Voor de individuele onderzoeker volgt hier iets nuchters uit, geen cynisme. Een uitslag rond de grens is deels signaal en deels ruis. De ruis, welke reviewers je toegewezen krijgt en hoe zij op een bepaalde dag oordelen, valt buiten je invloed. Het signaal, of je voorstel werkelijk aan de deelnamevoorwaarden voldoet en inhoudelijk aansluit op de call, valt er wél binnen. Daaruit volgen drie dingen.

Ten eerste: een enkele afwijzing rond de grens is zwak bewijs over de kwaliteit van je wetenschap. Lees de feedback serieus, maar overschat één uitslag niet. Ten tweede: denk in een portfolio, niet in één inzet. Als de uitkomst deels toeval is, telt het aantal goed passende aanvragen dat je over de jaren kunt doen, en niet de illusie van het ene perfecte voorstel. Ten derde, en dat is het belangrijkste: richt je op wat je vóór indiening wél kunt controleren. Controleer eerst of je aan de voorwaarden voldoet en of je project aantoonbaar aansluit op de callcriteria. Pas daarna is het verstandig om veel schrijftijd te investeren.

Wat GrantFit hier wel en niet doet

GrantFit werkt op het beïnvloedbare deel. De fit-analyse verwerkt de calltekst, haalt de beoordelings- en deelnamecriteria eruit als gestructureerde onderdelen en maakt zichtbaar waar het projectprofiel een knockout-risico oplevert: een criterium waarop de aanvraag al vóór de inhoudelijke beoordeling kan stranden. De letterlijke bronpassage staat er steeds bij. Dat is het beïnvloedbare deel: de deelnamevoorwaarden en de aantoonbare fit, die je vóór indiening kunt controleren. Het vervangt geen inhoudelijk oordeel over de wetenschap; zie onze uitgangspunten voor verantwoorde AI.

Wat het niet doet en niet kan: de variatie tussen reviewers beïnvloeden. Geen enkele voorselectie verandert welke reviewers je krijgt of hoe zij oordelen. In een eerder stuk rekenden we voor hoe duur de schrijftijd per aanvraag is, 170 tot 400 uur. De combinatie is de kern van de zaak. Omdat schrijftijd duur is en het oordeel deels ruis, is het verifieerbaar maken van het beïnvloedbare deel de enige rationele hefboom die de onderzoeker zelf in handen heeft.

Wat deze analyse niet zegt

Ruis is niet hetzelfde als willekeur over de hele linie. Peer review herkent de uitersten wel: zwakke voorstellen vallen betrouwbaar af en de allerbeste worden betrouwbaar herkend. De onbetrouwbaarheid zit in het middensegment, en juist daar valt bij lage honoreringspercentages de scheidslijn tussen toekenning en afwijzing.

De cijfers komen uit de Verenigde Staten, Australië en enkele Europese fondsen. Ordes van grootte vertalen, exacte percentages niet. Nederlandse programma's, waaronder die van NWO en ZonMw, kunnen andere uitkomsten geven. Lezers doen er goed aan met hun eigen programma- en rondedata te beginnen, niet met deze gemiddelden.

En tot slot: dat een uitslag deels ruis is, betekent niet dat de wetenschap er niet toe doet. Het betekent dat het verschil binnen de groep goede aanvragen vaak kleiner is dan de uitslag suggereert.

Slot

Zolang de honoreringspercentages laag blijven, wordt een steeds groter deel van de aanvragen in de onzekere middengroep beslist. De onderzoeker kan die variatie niet uitschakelen. Wel kan ze zorgen dat ze, op de criteria die vastliggen, niet op voorhand afvalt. Dat is geen garantie op honorering. Het voorkomt alleen dat je veel tijd steekt in een aanvraag die op formele of inhoudelijke fit al vooraf kwetsbaar is.