Monitoring en evaluatie
Het is belangrijk om als gemeente de opbrengst van je aanbod te evalueren. Zijn de gewenste resultaten en doelen behaald? Door tussentijdse monitoring kan waar nodig bijgestuurd worden. Welke zaken zijn belangrijk bij monitoring en evaluatie?
Monitoren
Stuur op (rapportage van) kwantitatieve en kwalitatieve data.
Door kwantitatieve en kwalitatieve gegevens te combineren, ontstaat een goed beeld van de geleverde kwaliteit. Maak duidelijke afspraken over hoe, door wie en hoe vaak de voortgang wordt gemonitord. En hoe vaak er tussentijds afstemming is. Zorg er ook voor dat rapportages uniform en daardoor goed vergelijkbaar zijn.
Voer tussentijds kwaliteitsgesprekken.
Kwantitatieve en kwalitatieve data van de aanbieder vormen de basis voor een kwaliteitsgesprek. Dit gesprek gaat over de voortgang, het aanbod, eventuele bijzonderheden en de samenwerking. De data worden geïnterpreteerd en mogelijke conclusies worden getrokken. Die conclusies kunnen leiden tot acties om de kwaliteit te verbeteren. Voer gesprekken met alle aanbieders, zowel van formeel als non-formeel aanbod. En eventueel ook met onderwijs, wijkteams of welzijnsstichtingen. Hierdoor stimuleer je dat zij echt (gaan) samenwerken als netwerk.
Evalueren
Evalueer de resultaten van het aanbod.
De tussentijdse monitoring heeft inzicht gegeven in de voortgang. Bij de evaluatie bekijk je de concrete effecten. Hebben leerders zich inderdaad opgegeven voor een vervolgcursus NT1, zoals de bedoeling was van het camouflageaanbod? Functioneert iemand nu beter op zijn werk omdat hij heeft gewerkt aan basisvaardigheden? Ga het gesprek aan met de aanbieders. Welke verklaringen zien zij voor de resultaten? Wat kan er beter en welke succesfactoren kunnen nog meer benut worden?
Leg de resultaten naast je doelen en bepaal de volgende stap.
Leg alle resultaten naast elkaar. Heb je de gestelde doelen behaald? Als dat niet het geval is, kun je drie dingen doen:
- Je past je kwaliteitskader aan. Je besluit bijvoorbeeld andere eisen te stellen aan je aanbod.
- Je past de selectie van dienstverlening aan. Je besluit bijvoorbeeld dat je andere dienstverleners nodig hebt om je doelen te bereiken.
- Je past je ambitie en doelstellingen van je (integrale) beleid aan.
Continuïteit
Ga terug naar de ambitie en doelstellingen.
Evalueer de aanpak van laaggeletterdheid op basis van de resultaten van het aanbod. Welke onderdelen zijn meer en minder succesvol? Hierdoor kun je verbeteringen aanbrengen voor toekomstig beleid. Kijk nog eens welke keuzes ten grondslag lagen aan het beleid. Ga terug naar de ambitie en doelstellingen. Wat waren je ambities met het beleid? Welke concrete doelen en plannen heb je geformuleerd en welke activiteiten zijn er ingezet?
Externe factoren
Houd rekening met externe factoren.
Bij realistische evaluatie ga je uit van het meten van effecten in een bepaalde context. Je kijkt naar de effecten van het aanbod, maar houdt ook rekening met externe factoren die die effecten kunnen beïnvloeden. Kijk ook naar de samenhang van het beleid. Volwasseneneducatie is maar een van de onderdelen waarmee je impact kunt maken. Inzet op andere beleidsterreinen kan ook belangrijk zijn om de gestelde doelen te behalen.
Voorbeeld: Checklist kwalitatieve evaluatie
Er zijn veel instrumenten ontwikkeld om de validiteit en betrouwbaarheid van kwalitatief evaluatieonderzoek te versterken. Maar wat is nu goed kwalitatief evaluatieonderzoek? Onderzoeker Lub schreef in opdracht van Movisie deze publicatie, waarin alle tips & tricks zijn opgenomen en uitgewerkt in een handzame checklist kwalitatief evaluatieonderzoek en een checklist mixed methods onderzoek.
Kwalitatieve evaluatieMeer lezen?
Op onze pagina voor Taalhuizen is Bouwsteen 9 gewijd aan monitoring van de werkwijze. Je vindt daar nog meer tips en voorbeelden over monitoren.