Geschreven door Henrieke Graven | 26 juni 2019
Je zwemdiploma, eindexamen, afrijden, een assessment of eindtoets bij een cursus. Als je iets geoefend hebt, wil je natuurlijk ook weten of je het al kan, ook als het gaat om communicatieve vaardigheden. Daarom worden veel trainingen in TrainTool beoordeeld door een coach. Heel nuttig en leerzaam, maar ook arbeidsintensief. Boudewijn van der Velde, Head of Labs bij Faculty of Skills, doet onderzoek naar manieren om die feedback te automatiseren. En door alle ontwikkelingen op het gebied van artificial intelligence gaat dat nu heel snel.
Boudewijn van der Velde: “TrainTool-trainingen bestaan uit een reeks video rollenspellen waarmee de deelnemer kan oefenen. De acteur op het scherm speelt bijvoorbeeld een klant, het filmpje stopt, de camera gaat aan en de deelnemer kan zijn reactie opnemen. Als we bij Faculty of Skills zo’n training ontwikkelen, bekijken onze communicatie-experts samen met de opdrachtgever wat de criteria zijn. Wanneer heeft de deelnemer het goed gedaan? Welke vaardigheden moet je laten zien? Een coach bekijkt het filmpje en geeft feedback. Deels is dat uitgebreide schriftelijke feedback met advies, maar voor de beoordeling moet de coach ook een lijstje vinken of bepaalde onderdelen wel of niet benoemd zijn. Die beoordeling proberen we nu te automatiseren.”
Wat is daarvoor nodig?
“We willen software laten checken of de deelnemer aan de criteria voldoet. Maar bij het toetsen moet de computer verder kijken dan alleen of het letterlijk zo gezegd is. In een van onze programma’s zit bijvoorbeeld het criterium dat de medewerker moet benoemen dat hij de frustratie van de klant erkent. Maar dat kan natuurlijk op heel veel manieren die allemaal goed kunnen zijn, zolang je de boodschap maar overbrengt. Je kunt zeggen: ‘Ik begrijp dat u gefrustreerd bent’, of ‘Ik snap dat dit tegenvalt’, of ‘Ik kan me voorstellen dat u dit vervelend vindt’. Wij hebben dus het systeem moeten trainen om al die mogelijkheden te herkennen.
In de beoordeling checkt een coach of aan de vooraf gestelde criteria is voldaan.
Hoe pak je zoiets aan?
“Er zijn heel veel verschillende manieren om dit te doen. Daarom hebben we eerst meer dan tien verschillende methodes onderzocht om te zien wat goed werkt en in welke situatie. Een techniek waarmee we nu het meeste succes hebben maakt gebruik van een neuraal netwerk dat is getraind op meer dan honderd miljoen zinnen. Het netwerk kijkt hoe zinnen zijn opgebouwd en in hoeverre die opbouw lijkt op de zin die wij daar zouden verwachten. Deze techniek heeft de afgelopen jaren een enorme sprong gemaakt.”
Maar dan heb je het over geschreven tekst, de antwoorden in TrainTool worden ingesproken door middel van een filmpje.
“Klopt, en daar gebruiken we dan weer spraakherkenningsoftware voor. En ik moet zeggen, dat gaat eigenlijk heel erg goed. Omdat onze deelnemers op zoveel verschillende apparaten en in allerlei omgevingen hun opnames maken, zijn niet alle opnames even luid en duidelijk. Maar het resultaat in de transcripts is echt goed. De spraakherkenningssoftware luistert naar wat de deelnemer zegt, en vervolgens knippen we die tekst op in allemaal korte subzinnetjes. Als de deelnemer zegt wat er gevraagd wordt dan scoort hij een punt, als hij het niet zegt niet.”
"Tot onze eigen verrassing werkt de computer in sommige gevallen nauwkeuriger."
En wat komt er dan uit?
“We hebben de beoordelingen van de computer naast beoordelingen door onze echte, menselijke coaches gelegd. En we konden tot onze eigen verrassing concluderen dat de computer in sommige gevallen nauwkeuriger werkt. Bij de menselijke beoordelingen hebben we een paar foutjes ontdekt: dingen die goedgekeurd waren die eigenlijk niet goed waren, of een verschil van mening over wat goed en niet goed is. Dat is ook niet zo gek, het blijft mensenwerk. Als een coach bijvoorbeeld al zeven matige antwoorden voorbij heeft zien komen, en het achtste begint ergens op te lijken, dan is hij of zij eerder geneigd dat antwoord dan maar goed te keuren. Een computer heeft daar geen last van. Daarmee zijn de geautomatiseerde beoordelingen objectiever en consistenter.”
Dus alle coaches zitten straks zonder werk?
“Zo’n vaart zal het niet lopen. Ten eerste zijn sommige criteria nog te abstract en complex om te automatiseren. Daarnaast bestaat het grootste deel van het coachwerk nu uit het schrijven van motiverende feedback en advies, iets wat echt mensenwerk is. Maar waar onze coaches nu vaak ook nog op een lijstje afvinken of iets wel of niet gezegd is wordt dat straks voor ze gedaan. Daardoor houden zij meer tijd over voor de echte coaching en het helpen verbeteren.”
"Dit gaat de interactiviteit van onze trainingen positief beïnvloeden"
Wat vinden de deelnemers ervan?
“Dat weten we nog niet. We hebben tot nu toe alleen maar getest met historische data, om te kijken of het systeem werkt. We verwachten wel dat het de interactiviteit van onze trainingen positief gaat beïnvloeden. Je krijgt van een computer natuurlijk veel sneller feedback, waardoor je het meteen opnieuw kunt proberen. Omdat het sneller gaat, en ook goedkoper is, kunnen we veel meer deelnemers feedback geven, en veel vaker. En we denken dat het voor sommige mensen ook veiliger voelt. Het is natuurlijk best spannend als een ander mens jou gaat beoordelen en feedback gaat geven, van een computer kunnen we dat misschien beter hebben. Aan de andere kant kan feedback van een mens motiverender zijn, juist omdat je af en toe een schouderklopje krijgt, als het na een paar keer proberen steeds beter gaat.”
Hoe gaat het nu verder?
“We hebben nu meer dan duizend ingesproken antwoorden getoetst en zijn dus heel blij met de resultaten. We willen nu een pilotproject gaan doen om de techniek nog verder te verbeteren, met nieuwe data dus. Ook gaan we we onderzoeken welke andere vormen van artificial intelligence en machine learning geschikt zijn. Bij andere typen trainingen zijn waarschijnlijk andere technieken in te zetten. En we zullen natuurlijk nog verder innoveren. Communicatie is zoveel meer dan alleen wát er gezegd wordt, het is ook hoe het gezegd wordt. We zouden bijvoorbeeld emotieherkenning willen integreren, op dat gebied zijn ook veel ontwikkelingen. En dat is ook gelijk de uitdaging. Er is zo veel mogelijk, de innovatie gaat zo snel, aan ons om er mee te experimenteren zodat we het kunnen toepassen in de praktijk.”
Boudewijn van der Velde is Head of Labs bij Faculty of Skills. Samen met een team specialisten onderzoekt hij innovaties in online communicatietraining en werkt hij aan verbetering van de software TrainTool.