In politieke discussies en beleidsvorming spelen modellen een belangrijke rol. Ze zijn ook betrouwbaar, mits ze passen bij de vraagstelling en niet worden overvraagd.

Ons land wordt geplaagd door meerdere crises, waaronder de corona-, klimaat- en stikstofcrisis. Die laatste hebben zelfs geleid tot een nieuwe minister voor Natuur en Stikstof en voor Klimaat en Energie. En de nieuwe minister van Volksgezondheid, Welzijn en Sport is verantwoordelijk voor het coronabeleid. Bij al deze ministeries is er sprake van beleidsontwikkeling en evaluatie van bestaand beleid.

Het is belangrijk dat dit gebeurt op basis van de juiste informatie. Daarin speelt de wetenschap een rol, want zij heeft het imago van objectieve waarheidsvinding die los staat van iemands politieke overtuiging. En bij die beleidsvorming spelen ook modellen een rol. De vraag is: waartoe die modellen?

Functie

Bij het beleid rond de bestrijding van corona, de opwarming van de aarde en de stikstofproblematiek wordt gebruikt gemaakt van (reken)modellen. Modellen waarmee zowel de gevolgen van bepaalde ontwikkelingen als ook de resultaten van eventuele beleidsmaatregelen worden ‘geprojecteerd’. Want de gevolgen van beleid kun je niet vooraf meten en ze berusten dus altijd op inschattingen.

Daarnaast worden modellen gebruikt om de relatieve bijdrage van sectoren aan een probleem vast te stellen. Zo wordt het stikstofmodel van het RIVM gebruikt voor het vaststellen van de bijdrage aan de stikstofbelasting in Nederland van onder andere landbouw, verkeer, industrie en buitenland. Want je kunt die concentraties wel meten, maar deze metingen vertellen je niet welke sector er verantwoordelijk voor is. ”Meten is weten” gaat hierbij niet op. En op dezelfde wijze zijn er modellen die de bijdrage van sectoren aan de stijging van broeikasgasconcentraties berekenen. Ten slotte worden modellen gebruikt om schattingen te maken op landelijk, Europees of zelfs globaal niveau. Want al meet je op 10.000 plekken, dan nog moeten die worden opgeschaald om tot landelijke uitspraken te kunnen komen.

Sturen

Kan de politiek vertrouwen op resultaten die voortkomen uit wetenschappelijke modellen? En moeten die dan het beleid bepalen? In het algemeen is het mijns inziens verstandig om tussen twee klippen door te zeilen. Enerzijds is er de klip dat de wetenschap, en daarmee ook wetenschappelijke modellen, een status van openbaring wordt toegekend („de wetenschap spreekt”), waarbij alle nuances en onzekerheden zijn weggevallen.

Aan de andere zijde is er de klip dat het gezag van de wetenschap, en dus ook de waarde van wetenschappelijke modellen, wordt aangevallen als de uitkomst je niet aanstaat en op basis van het idee dat wetenschap „ook maar een mening is”. Momenteel zie je die tendens sterker worden, mede onder invloed van het populisme.

Een voorbeeld van een uitermate onkritische houding is de wijze waarop soms wordt omgegaan met de resultaten van economische modelberekeningen van het Centraal Planbureau bij de evaluatie van partijprogramma’s. Relatief kleine verschillen worden dan benadrukt als waren de modelresultaten de hoogste waarheid. Zo zijn er onzekerheden die te maken hebben met het feit dat macro-economisch gedrag niet alleen wordt bepaald door financiële overwegingen, maar ook door menselijke impulsen en emoties. Dit wordt niet of nauwelijks in die modellen verdisconteerd. Omgekeerd is er soms sprake van een uiterst kritische houding bij de resultaten van stikstof- en klimaatmodellen, met name als er belangen in het spel zijn en de resultaten sommige mensen niet aanstaan.

Vraagstelling

De betrouwbaarheid van een modeluitspraak hangt samen met de vraag die gesteld wordt. Als voorbeeld kun je denken aan een zoon die aan zijn vader vraagt of ze een reis van 1200 km naar een vakantiebestemming op dezelfde dag halen als ze ’s morgens om zes uur vertrekken. Het antwoord van die vader is gebaseerd op een model, namelijk de afstand gedeeld door de verwachte gemiddelde snelheid.

Die snelheid hangt samen met de auto, de rijstijl, het aantal en de lengte van de pauzes onderweg en de inschatting van files. Het antwoord „we halen het deze dag” is waarschijnlijk vrij betrouwbaar; 1200 km in 18 uur lukt veelal wel. De betrouwbaarheid wordt al veel minder als de vraag is of ze ’s avonds tussen tien en elf uur aankomen, en nog minder als de vraag is of dit tussen half elf en vijf over half elf is.

Hetzelfde principe geldt voor de reactie van een burger op de weersverwachting. Die verwachting is gebaseerd op modelberekeningen. De berekeningen van de gemiddelde regenval over Nederland op de volgende dag zijn veelal zeer betrouwbaar. Maar naarmate je meer detail wilt hebben in ruimte en tijd, wordt het onbetrouwbaarder.

Dit kan ook worden geïllustreerd met de betrouwbaarheid van stikstofemissie- en depositiemodellen. De commissie-Hordijk, die dit moest onderzoeken, concludeerde dat de modelkwaliteit voldoende tot goed is om landelijk gemiddeld de stikstofdepositie op natuurterreinen te bepalen en de bijdragen van sectoren aan die depositie te berekenen. Hoewel er lokaal wel relatief grote afwijkingen voorkomen, is er gemiddeld goede overeenstemming tussen modelberekeningen en daadwerkelijke metingen op honderden plekken. Tegelijk werd geconcludeerd dat die modellen niet geschikt zijn voor vergunningverlening. Want het criterium daarvoor is dat je onder een extreem kleine toename in de stikstofdepositie per hectare van een nabijgelegen natuurterrein blijft. En zo betrouwbaar is het model niet.

Evaluatie

Zijn politieke keuzes te baseren op modellen? Ja, mits je geen vragen aan het model stelt waarvoor het feitelijk niet is ontworpen. Dan krijg je berekeningen met een (veel te) grote onzekerheid. Een voorbeeld is de vergunningverlening op basis van stikstofmodellen.

In de politiek zijn er ook andere overwegingen die geen onderdeel zijn van een model, maar die wel meegewogen moeten worden. Die kunnen zelfs heel wezenlijk zijn. Als vragen en gevoelens die niet wetenschappelijk zijn te beantwoorden buiten de orde worden verklaard, kan dat burgers het gevoel geven dat hun problemen in het publieke debat geen aandacht krijgen.

Modelresultaten kennen altijd een bepaalde onzekerheid die twee kanten uitgaat: de werkelijkheid kan gunstiger maar ook ongunstiger uitpakken. Zo worden er circa tien modellen gebruikt om de bandbreedte in de verwachte temperatuurstijging aan te geven bij klimaatvoorspellingen. Uit reconstructie van het verleden blijkt dat de werkelijkheid net iets ongunstiger is dan de meest pessimistische voorspelling.

Kortom: gebruik modellen in het beleid niet kritiekloos. Ga na of het model wel betrouwbaar genoeg is om de vraag te beantwoorden. Is het doelgeschikt? En laat de wetenschap dan de onzekerheden aangeven om onjuiste beleidstoepassingen te voorkomen.

Deze onzekerheid moet de wetenschap ook communiceren. Door te grote beleidsdruk kan men in een positie worden gemanoeuvreerd dat het model overvraagd wordt. Daar valt nog wel iets te verbeteren. Maar laat de beoordeling van modelresultaten niet over aan organisaties die wel een belang maar geen deskundigheid hebben. Die beoordelingen zijn per definitie niet betrouwbaar!

Al eerder schreef de hoogleraar drie op deze website geplaatste artikelen over het stikstofprobleem. Zie resp. hier, hier en hier.

Dit artikel is met toestemming van de auteur overgenomen uit het Reformatorisch Dagblad. Bronvermelding: Vries, W. de, 2022, Wetenschappelijk model nuttig maar niet alwetend, Reformatorisch Dagblad 52 (30): 26-27 (artikel).