Hoe laat je zien wat je als ontwikkelingsorganisatie bereikt? Hoe meet je wat gelukt en wat mislukt is? En wat kunnen mensen met die informatie? Dat zijn vragen die veel ontwikkelingsorganisaties bezighouden. Kijk maar naar nieuwe bewegingen zoals het Open For Change waarbij Partos en het ministerie van Buitenlandse Zaken betrokken zijn. Evert-Jan Brouwer en Wouter Rijneveld van Woord en Daad beschrijven het proces van verantwoording van hun organisatie en gaan in op het spanningsveld van te veel willen meten en je juist afkeren van de meetcultuur.
Door Evert-Jan Brouwer en Wouter Rijneveld
Een paar maanden terug moest Woord en Daad bij het ministerie van Buitenlandse Zaken haar eindrapport leveren over de besteding van ruim €20 miljoen MFS-1 subsidie. Het ging om geld dat we gekregen hadden voor de uitvoering van ons totaalprogramma 2007-2010 van €104 miljoen. De hoofdthema's van dat programma waren onderwijs, vakonderwijs en bedrijfsontwikkeling. Honderdvier miljoen euro is veel geld. Zowel onze partners in het Zuiden, als het ministerie als de achterban en de buitenwereld heeft recht op verantwoording. Voegt onze organisatie de daad bij het woord?
Inzicht, maar met beperkingen
Om te kunnen rapporteren, moet je een systeem bedenken dat je helpt om resultaten te meten. In 2006 ontwierp Woord en Daad dat systeem voor de vier jaren daarna. Het eigene van ons meetsysteem is dat Woord en Daad heel helder wil kunnen vertellen hoeveel mensen we met onze programma's bereiken in de landen waar we werken.
Zo kunnen we laten zien dat in die periode het aantal kinderen dat jaarlijks direct gesteund werd in basisonderwijs groeide van 39.925 naar 42.830. Voor het voortgezet onderwijs groeide het aantal van 7.196 naar 8.690. In beide gevallen was er iets meer groei dan gepland. Daarentegen haalden we de doelstelling voor alfabetiseringscursussen niet vanwege minder beschikbare middelen en daardoor noodzakelijke bezuinigingen: een forse afname van 6.424 naar 4.900. Het aantal studenten dat een vakopleiding volgde, groeide volgens planning van 5.575 tot een kleine 8.000. Veel meer voorbeelden zouden te geven zijn.
Als we terugkijken naar de achterliggende vier jaar, dan kunnen we zeggen dat op het niveau van het bereiken van de directe doelgroep met directe armoedebestrijding ons programma redelijk succesvol was. We kunnen laten zien dat mensen toegang kregen tot onderwijs maar ook dat de kwaliteit van dit onderwijs verbeterd is; dat vakstudenten een baan vonden; dat ondersteunde bedrijven beter draaien.
Op andere niveaus hebben we minder goed gescoord. Versterking van maatschappelijke structuren en organisaties en beïnvloeding van het overheidsbeleid in ontwikkelingslanden kwamen duidelijk minder uit de verf, terwijl dit zeker zo belangrijk is om te zorgen dat het werk van onze partners beklijft. Daar zijn twee hoofdredenen voor te geven. Niet alleen investeerden we er veel minder in dan in rechtstreeks op de doelgroep gerichte activiteiten, maar ook was ons meetsysteem er onvoldoende op toegesneden.
Ook wie vraagt naar de langetermijneffecten van ons programma, zal weinig informatie vinden in ons eindrapport. Het meten van langetermijneffecten is geen eenvoudige zaak en binnen Woord en Daad hadden we er nog te weinig kennis van in huis toen we het meetsysteem opstelden. Tijdens de periode 2007-2010 groeide onze behoefte om daar wel meer inzicht te krijgen en te kunnen geven. Om die reden hebben (samen met ICCO en Prisma) we deelgenomen aan het Participatory Assessment of Development onderzoek onder leiding van prof.dr. Ton Dietz. Met een vernieuwende methode bleek het mogelijk de effecten van ontwikkelingshulp inzichtelijk te maken over een periode van 25 jaar. Overigens betreft dit onderzoek niet puur de programma's van Woord en Daad, maar alle interventies van alle organisaties in een bepaald gebied over een langere periode.
Belangrijkste resultaten in één oogopslag
| Output | Outcome | |
| Onderwijs | Het aantal jongeren dat met basisonderwijs bereikt werd, groeide van 39.915 tot 42.830 (zo'n duizend meer dan gepland).Voor het voortgezet onderwijs was de groei van 7.196 tot 8.690 (600 meer dan gepland).Voor informeel onderwijs was de planning 800 per jaar, maar kwam Woord en Daad uit op 3.890 per jaar, met name vanwege nieuwe initiatieven, bijv. speed schools en programma's voor straatkinderen. In 75% in plaats van 70% van de onderwijsprogramma's werden ouders en andere lokale actoren betrokken bij het onderwijs. | 30.234 inplaats van 25.600 leerlingen rondden hun onderwijs af (basisonderwijs 18.050, voortgezet onderwijs 6.674, informeel onderwijs 5.510). Dit kwam met name door de sterke groei van het informele onderwijs.Bij23 inplaats van de geplande 20 partners had deelname aan netwerken voor onderwijs effect op de kwaliteit van de programma's.In 1 i.p.v. 5 landen is het onderwijsbeleid verbeterd mede als gevolg van lobbyactiviteiten door partners. In diverse landen verbeterde het beleid, maar was dat niet mede dankzij lobby van onze partnerorganisaties. |
| Vakonderwijs en arbeidsbemiddeling | Het aantal studenten dat vakopleiding volgde steeg van 5.575 tot 7.874 (planning 8000).Voor 79% van de studenten werd een goede stageplaats gevonden (planning 80%).Van de examinandi slaagde per jaar gemiddeld 87% (streefpercentage 80%). | Van de studenten vond 58% binnen 6 maanden een baan (planning 60%. )Helaas is er over 2007/2010 geen betrouwbare informatie over hoeveel van de studenten na één jaar nog een baan hebben. Ook over de arbeidsomstandigheden van de afgestudeerden is onvoldoende bekend. |
| Microkrediet en MKB ontwikkeling | Per jaar werden gemiddeld 22.444 microbedrijven begeleid met financiële en technische ondersteuning voor de bedrijfsvoering (planning was 9000).In totaal zijn in vier jaar 2.353 MKB bedrijven opgezet of vergroot met een lening van Woord en Daad (planning was 465). | 71% van de microfinancierings-instellingen werd operationeel zelfstandig, tegen >80% gepland.67% van de Business Development Organisaties werd operationeel zelfstandig, tegen 80% gepland. |
Lessen naar de toekomst toe
Wie nauwkeurig kennisneemt van onze totaalrapportage ziet daarin het weerbarstige van ontwikkelingswerk terug. Sommige dingen gaan goed – en dat kunnen we laten zien. Op andere vlakken is er sprake van uitproberen en zo nodig bijstellen. Soms moesten tijdens de rit bepaalde definities van wat succes is opnieuw opgesteld worden.
Toen de tijd kwam voor het opstellen van ons meerjarenprogramma 2011-2015, besloten we ons meetsysteem grondig te herzien. Dieper inzicht in langetermijneffecten staat centraal. Nog meer dan in 2007-2010 proberen we scherp te krijgen welke uiteindelijke effecten onze programma's hebben op de doelgroep – naast de effecten als het gaat om capaciteitsversterking van partnerorganisaties. In dit opzicht is ons meetsysteem redelijk uniek. Ontstijgen mensen uit onze doelgroep echt de armoede? En hoe dan? En hoe duurzaam? Hoe we dit goed kunnen meten, daarover hebben we samen met onze partnerorganisaties overeenstemming bereikt. We hanteren nauwkeurige, gemeenschappelijke definities. Daarnaast is en wordt veel geïnvesteerd in het vermogen van partnerorganisaties om hun resultaten inzichtelijk te maken.
Ook is er in het nieuwe meerjarenplan veel meer aandacht voor versterking van maatschappelijke organisaties en beïnvloeding van overheden.
Inzicht in resultaten: zoeken naar de balans
Ontwikkelingsorganisaties voelen zich gemangeld door het heftige publieke debat over de waarde van ontwikkelingswerk. Veel organisaties lijken zich onzeker te voelen over het werk dat ze doen. Je ziet dat terug in de discussies over wat we wel en niet kunnen meten en weten van onze resultaten. De discussie dreigt gekaapt te worden door uitersten.
Het ene uiterste is dat je alles heel rigide wilt gaan meten en rapporteren. En denkt dat meten weten is, terwijl je in eenzijdig en rigide kijken naar het kwantitatieve de kwaliteit van het bestaan over het hoofd ziet. Dan is meten vergeten. Dat risico lopen naar ons inzicht het ministerie van Buitenlandse Zaken en haar eigen evaluatiedienst IOB.
Het andere uiterste is dat je je afkeert van de ´meetcultuur´ en je daarvoor indekt met allerlei bezweringsformules over het politieke karakter of de grote complexiteit van ontwikkelingsprocessen. Ook in complexiteit zijn echter gradaties en er zijn genoeg resultaten die wel inzichtelijk te maken zijn, bijvoorbeeld op het gebied van water en sanitatie, gezondheidszorg, vakonderwijs en bedrijfsontwikkeling.
Bij Woord en Daad vinden we dat het gaat om het zoeken naar de juiste balans. Zo goed mogelijk je best doen om aan mensen te kunnen laten zien wat je partners in de ontwikkelingslanden presteren. Ook vertellen wat er niet is gelukt en waarom precies. En welke dingen je bij moet stellen tijdens de rit. Dat doen we overigens niet alleen richting het ministerie van Buitenlandse Zaken, maar ook richting onze particuliere achterban en het bredere publiek. Met regelmaat geven we aandacht in onze magazines aan zaken die niet goed zijn gegaan of beter hadden gekund. Mede daarom sponsoren we de Briljante Mislukking. Omdat we niet geloven in een perfecte wereld en niet geloven in de perfecte aanpak. Wél dat je juist uit fouten kunt leren voor de toekomst.
Weten en weten is twee
Prachtige cijferoverzichten, tabellen en grafieken kunnen indrukwekkend overkomen. Maar zonder een verhaal erbij, kun je er als burger nog weinig mee. Heel wat initiatieven voor meer openheid gaan ervan uit dat mensen met cijfers gediend zijn. Maar de vele cijfers en overzichten die inmiddels op internet te vinden zijn, hebben het publieke vertrouwen in ontwikkelingssamenwerking zeker nog niet doen toenemen. Kennelijk is weten en weten twee. Marcia Luyten beschreef dat dilemma onlangs ook in NRC Handelsblad en in Internationale Samenwerking.
Woord en Daad wil met continue eerlijke communicatie over de resultaten – zeg maar de cijfers mét het verhaal erachter – er in ieder geval aan bijdragen dat mensen zich niet vertwijfeld afwenden bij het zoveelste resultatenoverzicht. En dat ze een duidelijk antwoord krijgen op de vraag of ze waar voor hun geld ontvangen.
Klik hier voor de resultaten MFS-1 van Woord en Daad.
Evert-Jan Brouwer is politiek adviseur bij Woord en Daad.
Wouter Rijneveld is PMEL officer bij Woord en Daad.
