Geschreven door Tamara Mesman | 22 maart 2018
Hoe evalueer je een training? Al sinds de jaren ‘60 wordt vaak het model van Kirkpatrick gebruikt. Dat model is echter veel te oud, stelt Dr. Will Thalheimer. Het leidt tot een checklistbenadering van evaluatie en gaat daarmee voorbij aan het echte doel. Voor de moderne wereld ontwierp hij het Learning-Transfer Evaluation Model (LTEM), dat stelt dat een training pas een succes is als de deelnemer het geleerde ook echt in zijn gedrag toepast. Thalheimer identificeert acht niveaus waarop organisaties hun trainingen evalueren, waarvan de helft inadequaat is. Ontdek op welk niveau jij je training evalueert!
1. Aanwezigheid
De trainee schrijft zich in, begint en maakt de training af. Met zo’n evaluatie kun je niets, betoogt Thalheimer, want aanwezigheid betekent niet dat de trainee ook iets leert. Hoewel je bij afwezigheid wel weet dat de training geen succes was.
2. Activiteit
De trainee doet mee aan trainingsactiviteiten, wat kan worden gemeten op drie subniveaus: aandacht, interesse en deelname. Ze zijn echter alledrie onvoldoende als evaluatieniveau: trainees kunnen wel aandacht hebben, interesse tonen of meedoen, maar hoeven daarmee nog niet te leren.
3. Deelnemersperceptie
Veel organisaties blijven bij trainingsevaluatie nog steken op niveau drie. De deelnemer wordt zelf bevraagd over de training, bijvoorbeeld op het gebied van tevredenheid: wat vond men van de training? Absoluut ontoereikend om leersucces te valideren, stelt Thalheimer. Vragen die begrip en toepassingsmotivatie meten kunnen wél iets zeggen over de uitkomsten, maar het blijven afgeleiden. Als realistisch ervaren oefening kan zorgen dat de deelnemer het geleerde langer onthoudt, maar beter is het om het onthouden zelf te meten.
4. Kennis
Niveau vier richt zich op het meten in hoeverre de deelnemer feiten en termen heeft geleerd, een populaire evaluatiemethode in e-learning. Of zulke vragen nu direct na het leren of dagen later worden gesteld, het herinneren van terminologie betekent niet dat de deelnemer ook beter presteert, betoogt Thalheimer.
5. Beslissingsbekwaamheid
Kan de deelnemer in relevante realistische scenario’s de juiste beslissingen maken? Als je dit tijdens of vlak na het leren meet, helpt dat wel, maar kan men de achterliggende kennis of vaardigheid alsnog vergeten. Meet het dus minstens een paar dagen later, zegt Thalheimer, dan weet je of iemand echt bekwaam is om beslissingen te maken op basis van wat hij geleerd heeft.
6. Taakbekwaamheid
Het uitvoeren van een taak combineert het maken van een beslissing met een actie van de deelnemer. Als ze dit tijdens of net na de training doen, is dat wel een betrouwbare meting, maar je weet nog niet of ze het blijvend kunnen. Zet er dus een paar dagen tussen, adviseert Thalheimer. Wat dit betekent voor je training? Herhalingsoefeningen helpen! Zorg dat deelnemers bijvoorbeeld een week later weer het geleerde kunnen toepassen in realistische oefeningen.
7. Overdracht
Beter is het, volgens Tallheimer, om met objectieve metingen te bepalen of de deelnemer het geleerde toepast om taken succesvol te volbrengen, oftewel de overdracht. Dit geldt voor zowel ‘ondersteunde overdracht’, als de deelnemer geholpen moet worden om het geleerde toe te passen, als volledige overdracht. In het eerste geval spoort een manager bijvoorbeeld zijn medewerkers aan, in het tweede geval vertoont de medewerker het nieuwe gedrag uit zichzelf. Dit niveau wordt gemeten op de werkvloer: doet de deelnemer de taken waar hij voor getraind is uiteindelijk ook beter?
8. Effecten van de overdracht
Het laatste niveau gaat nog een stapje verder dan de taak zelf: wat is het effect van de overdracht op (a) deelnemers, (b) collega’s, familie en vrienden, (c) de organisatie, (d) de gemeenschap, (e) de samenleving en (f) de omgeving? Het beoordelen van de causale positieve en negatieve impact van de overdracht vereist wel een rigoureuze methode, geeft Thalheimer aan. Is de productiviteit eigenlijk wel hoger na het leren? Zijn de geleerde vaardigheden wel positief voor de samenleving, zoals wanneer managers zo sterk onderhandelen dat hun personeel minder verdient? In hoeverre is de NPS-stijging toe te schrijven aan meer klantgerichte medewerkers? Zulke vragen zijn niet 1-2-3 te beantwoorden.
Het model is redelijk gedetailleerd, maar maakt daardoor wel meer specifieke evaluatie mogelijk dan Kirkpatricks model. Bij het model heeft Thalheimer ook een rapport geschreven, dat hier te lezen is. Duidelijk is dat niveau 7 voor veel organisaties al een uitdaging is, laat staan dat niveau 8 snel haalbaar is. Faculty of Skills evalueert met haar klanten op niveau 6, maar nog niet altijd op niveau 7. Dat een manager het verschil merkt op de werkvloer is mooi, maar geen objectieve evaluatie. In sommige projecten wordt ook de invloed van de training op organisatiemetrics zoals omzetcijfers of klanttevredenheid gemeten, wat al een deel van niveau 8 bestrijkt. Op welk niveau evalueer jij je training?