Ga terug naar overzicht

Waarom evaluatieformuleren niet werken

Wat brengen evaluaties jou op?

Als HR professional stuur je aan het eind van een opleiding een evaluatie naar de deelnemers.  Want een ‘happy sheet’ hoort er nu eenmaal bij als opleidingsinitiatieven afgerond worden.  Dit zijn evaluatieformulieren die we –vaak- aan het einde van een opleiding uitsturen.  Voor heel opleidingsverantwoordelijken onder ons is het opmaken, uitsturen, opvolgen en verwerken van evaluaties een tijdsintensieve bezigheid.  We mogen al een vreugdedansje maken als we een deftige responsgraad hebben. Want dat durft eerder de uitzondering dan de regel te zijn.   En daarna maken we een power point met statistieken en gaan we die presenteren. Ja, evalueren vraagt een grote investering van jouw kostbare tijd. Daar zijn we het over eens. Maar wat brengt ze in verhouding op voor jou? Quasi niets! Wat nu? 

De correlatie tussen resultaten van de traditionele happy sheets en
performantie achteraf is quasi nul.

Een tijd geleden vroeg een HR manager me om KPI’s te definiëren. KPI’s die het team leren en ontwikkelen kunnen gebruiken om hun activiteiten te evalueren; om vast te stellen of we goed bezig zijn of niet.  En toen kwamen de ‘happy sheets’ opnieuw naar boven.  Ik denk dat je het ermee eens bent dat vragen zoals “was de koffie lekker” niet erg veel bijdragen tot het leerresultaat. Maar wat met “in welke mate ben je tevreden met de trainer” ?

Stel jij je ook wel eens de vraag wat evaluaties opbrengen?  Wat hun toegevoegde waarde is?  Welke voorspelbaarheid ze (kunnen) hebben? En hoe het misschien anders zou kunnen? Stel je je wel eens de vraag of het befaamde Kirkpatrick model, dat wel een monopolie lijkt te hebben binnen de evaluatiemodellen, nu écht werkt? Meer nog, wat zeggen KPI’s zoals ‘aantal uren opleiding’, ‘aantal mensen getrained’, ‘tevredenheid van de sessie’ ons over nieuw gedrag? NIETS!

Feit dat je dit bericht leest, wil zeggen, dat je toch met een gezonde blik naar je werk kijkt! En dat je kritisch durft te zijn.  Goed zo, dat is heel gezond én broodnodig!  Lees dan vooral verder :)

Spreidstand tussen wetenschap en evaluaties

Vorig jaar volgende ik op het ATD Congres in Denver een workshop bij ene Will Thalheimer.  Tot dan een nobele onbekende voor mij.  Zijn workshop ging over ‘performance focussed smiley sheets’.  Hoewel ik vreesde voor een saaie sessie, was het tegendeel waar. Ik vertel je zo meteen waarom.
Doctor Thalheimer staat met één been in de wetenschap en één been in de wereld van Learning Measurement;  Een ideale combo voor wie op zoek is naar wetenschappelijk onderbouwde modellen.  Zijn inzichten waren confronterend voor mij , waardoor ik dacht dat ik echt niet goed bezig was als het op evalueren van performantie neerkomt.  Maar tegelijk was dit een geweldige inspiratiebron om de situatie aan te pakken. Elke zichzelf respecterende HR medewerker moet steeds een kritische houding aannemen ten aanzien van modellen.  Dat doe jij nu ook.  Anders was je niet zo nieuwsgierig, toch?

Correlatie tussen traditionele happy sheet en performantie is quasi nul

De traditionele ‘happy sheets’ of ook wel eens smiley sheets’ die we aan het eind van een opleiding uitdelen, vertellen ons meestal niet wat we willen weten. Irrelevante vragen, antwoordopties die voor interpretatie vatbaar zijn, foute timing en dergelijke, zorgen er voor dat de resultaten misleidend zijn. ​De correlatie tussen traditionele happy sheets en performantie na de opleiding is quasi nul.

Hoe kan het dan wél?

Jij en ik hebben als learning professionals hetzelfde doel voor ogen: mensen via ontwikkeling ondersteunen om de dingen morgen anders en beter te doen. Het doel van onze opleidingen is om performante te verbeteren. Willen we weten of we goed bezig zijn dan gaan we kijken of onze leeroplossing voldeed aan de criteria die gedragsverandering ondersteunen. Met andere woorden “in welke mate voorspelt het evaluatieformulier dat het geleerde in de praktijk wordt omgezet?”  Katsjing…confronterende vraag!  Ik zie soms evaluatieresultaten voorbij  komen waar men niet tevreden was over de trainer, maar wél succesvol nieuwe competenties in de praktijk inzet. En andersom: een geweldige trainer, maar nieuw gedrag…neen, dat niet.  Hoe zot is dat?

Vier elementen bepalen gedragsverandering

Thalheimer geeft –terecht- aan dat onze manier van evalueren zou moeten vertrekken vanuit een ‘learning design’ (de opbouw van je leertraject) die in staat is gedrag effectief te veranderen. Wetenschappelijk onderzoek vertelt ons volgende 4 elementen onlosmakelijk verbonden zijn met de effectiviteit na een training:

1. Begrijpen deelnemers de materie tijdens de opleiding?
2. Herinneren ze zich de nieuwe informatie achteraf nog?
3. Zijn ze gemotiveerd om wat ze geleerd hebben om te zetten naar de praktijk?
4. Is er ondersteuning na de opleiding voorzien?

Diepgaande tekst en uitleg hierover zijn terug te vinden op deze webpagina.

Als een training aan alle 4 criteria beantwoordt, is de kans zeer groot dat je deelnemers achteraf met succes het geleerde gaan inzetten.

We gaan een stapje verder. Als deze factoren bepalend zijn voor het succesvol inzetten van nieuwe materie…dan is dit ook ons vertrekpunt voor de evaluatie.  We gaan in onze vragen peilen naar begrip, retentie, motivatie en post-ondersteuning.

Valkuilen

De manier waarop we bevragen is ook heel bepalend voor de credibiliteit van de resultaten. Hier loeren heel wat valkuilen waarvan we ons niet altijd bewust zijn. Ik geef er enkele mee:

Valkuil 1: Puntenschalen zeggen niets

Punten vertellen in weze niets en gemiddelden nog minder. Gebruik in de plaats beschrijvende antwoordopties; die zijn eenduidigBijvoorbeeld: neem volgende vraag na een opleiding rond feedback:

OPTIE 1:

“ik heb de concepten van feedback begrepen”: geef een score van 1 tot 5 (1=helemaal niet akkoord – 5= helemaal akkoord. 

-> Wat zegt “niet akkoord” ons?
Meer nog, wat wil het gemiddelde van 3,7 ons nu echt zeggen? Is dat goed? Of niet goed genoeg?

OPTIE 2:

​Je zou in de plaats kunnen formuleren:
“Nu je de opleiding feedback geven hebt gevolgd, in welke mate heb je het gevoel dat je de concepten begrijpt?”
A: Ik heb duidelijk nog hyaten en begrijp de concepten niet
B: Ik heb de basis van de concepten begrepen
C: Ik heb een goed begrip van de concepten
D: ik heb een zeer goed begrip van de concepten
E: Mijn begrip staat op het niveau van een expert.

Deze opties zijn glashelder. Misschien zijn we het er over eens dat antwoorden C,D en E acceptabel zijn en A/B niet.

Valkuil 2: Timing van evalueren: optimisme en het vergeetproces

Wanneer bevraag je de mensen? Bij traditionele smiley sheet is vaak aan het einde van de opleiding, op het moment dat ze nog in de trainingcontext zitten, informatie vers in het hoofd zit en deelnemers comfortabel de  tijd en ruimte krijgt om te reflecteren.  Op dat moment zijn deelnemers meer dan ooit optimistisch dat ze de materie begrepen hebben en er zeker mee aan de slag gaan.   De realiteit enkele dagen later is vaak anders. Dankzij ons natuurlijk vergeetproces (lees hier meer over in de blogpost over de vergeetcurve) zijn we de volgende dag al heel wat vergeten, waardoor we misschien te optimistische waren bij het invullen van de bevraging.

Je kan dit stuk tackelen door aan het einde van de les te polsen in welke mate men concepten wel of niet begrepen hebben door beschrijvend te werken.  We kunnen op dit moment enkel uitspraken dien over wat men op dat eigenste moment kent.  Over het toepassen in de toekomst, kunnen we weinig uitspraken doen, omdat dit door teveel factoren wordt beïnvloedt zoals context, vergeetproces enz.

Valkuil 3 – vooringenomen vragen leiden tot vooringenomen antwoorden

Laat ons voorzichtig zijn met de manier waarop we vragen formuleren. Een vraag zoals “ na de training zijn mijn kennis en kunde verbeterd” zou wel eens kunnen leiden tot sociaal wenselijke antwoorden. Dezelfde redenering gaat op voor antwoordopties: in welke mate kunnen deelnemers zichzelf voldoende goed inschatten in hun competenties eens ze terug op de werkvloer zijn? Biases zijn gedachten waar jij en ik dagelijks mee geconfronteerd worden. Ze zullen je evaluatieresultaten behoorlijk beïnvloeden als we onze vragen en antwoorden niet zorgvuldig formuleren.

…feit is dat we het evaluatiegebeuren vandaag te stiefmoederlijk behandelen

Honger naar meer?

Dit zijn slechts enkele flarden van de ideeën van Thalheimer. Wil je met een kritische blik naar het evaluatiegebeuren bekijken? Sta je open voor andere insteken dan het Kirkpatrick model? Of heb je gewoon zin om toegankelijke literatuur over het onderwerp te lezen, overgoten met een sappige saus aan humor? Lees dan zijn boek! Bekijk zijn blog en website. 
Is het de heilige graal? Misschien niet. Maar feit is wel dat er jaren research aan vooraf is gegaan en we het evaluatiegebeuren vandaag misschien iets te stiefmoederlijk behandelen als learning professionals. 

Wat denk jij hierover? Hoe ga jij an de slag om de impact van training in kaart te brengen?
Ik hoor heel graag jouw ideeën. Dan worden we rijker!