VERBONDEN AAN

Vaak horen we hoe moeilijk het is om de effectiviteit van beleid vast te stellen. Met de doorgaans gebruikte ‘klassieke’ (quasi-)experimentele methoden is dat ook lastig en in veel onderzoeken worden daar dan ook vergeefse pogingen toe gedaan. De methode van Realistic Evaluation biedt echter uitkomst. Deze methode begint aan terrein te winnen en is door Pawson & Tilley met hun boek ‘realistic evaluation’ (1997) een krachtige impuls gegeven. Dit boek begint zich te ontwikkelen tot een moderne klassieker in de evaluatieliteratuur. Realistic Evaluation gaat niet alleen in op de vraag of beleid werkt, maar ook hoe het werkt. Door te doorgronden hoe het project werkt en wat precies wel en niet werkt kunnen gerichte aanbevelingen voor verbetering worden gedaan.

De ‘klassieke’ opvatting
De dominante opvatting bij effectiviteits- of doeltreffendheidsonderzoek is dat met het zogenaamde experimentele ontwerp het beste de effectiviteit van beleid kan worden vastgesteld. Dit ontwerp gaat uit van een soort laboratoriumsetting waarin een situatie waarin het beleid is uitgevoerd (de experimentele groep) wordt vergeleken met een situatie waarin dat niet het geval is (de controlegroep). Door in beide groepen een nul- en een eindmeting te doen, kan worden gekeken of er verschillen zijn die aan het beleid zijn toe te schrijven. In de praktijk blijkt er meestal geen nulmeting voorhanden te zijn en is het voorhanden zijn van een goed vergelijkbare controlegroep al helemaal problematisch.
Doeltreffendheidsonderzoek met (quasi-)experimentele methoden is kortom lastig uitvoerbaar. Mocht dit al lukken dan rijst nog een probleem. Als namelijk vooral wordt gekeken naar verschillen tussen voor- en eindmeting, blijft de exacte werking van het beleid een ‘black box’. We weten dan nog steeds niet hoe het beleid precies werkt en welke onderdelen van dat beleid nou wel en niet effectief zijn.

Realistic Evaluation
Realistic Evaluation opent de black box. Het blootleggen van de wegen/de stapjes waarlangs men denkt dat de gewenste resultaten/effecten tot stand komen is daarbij een kernpunt. In termen van de Realistic Evaluation heten die stapjes ‘mechanismen’. Van belang daarbij is dat het gewenste mechanisme mogelijk niet in iedere context tot stand zal komen. De context is van cruciaal belang voor het bereiken van het gewenste effect. Het mechanisme en de context zorgen er samen voor dat een bepaalde uitkomst wordt bereikt. In een Realistische Evaluatie wordt vervolgens in de praktijk gekeken of in de specifieke context de verwachte mechanismen zich ook daadwerkelijk voordoen, op welke punten dat wel en niet het geval is, waarom dat zo is en in hoeverre optimalisaties mogelijk zijn. In een plaatje kan dit als volgt worden uitgelegd. 

Realistic evaluation biedt ook een waardevolle aanvulling in gevallen waar een (quasi-) experimentele evaluatie wel mogelijk is. Immers, het opent de black box en geeft specifiek aan wat wel en niet werkt in het beleid. Op basis van een realistische evaluatie kunnen dus gerichte uitspraken worden gedaan over de effectiviteit van beleid. Het geeft niet alleen aan dat het niet werkt, maar ook wat niet werkt. Hierdoor kunnen concrete praktische aanbevelingen worden gedaan voor verbeteringen. Kortom, geen aanbevelingen in termen van omgekeerde conclusies (het gaat niet goed, maak het beter), maar concrete handvatten voor hoe beleid geoptimaliseerd kan worden.

Wilt u meer weten over ons en onze dienstverlening? Neem gerust contact met ons op (klik hier voor onze contactgegevens).