We werken een aantal jaren met de examens van Prove2Move. Het zijn praktische examens waarbij studenten moeten laten zien welke vaardigheden zij beheersen en moeten laten horen wat ze weten. Voor mbo-studenten een fijne manier om te examineren. Maar in de administratie die de examenprocessen van de papieren versie begeleidt zitten ook tijdrovende, fout- en fraudegevoelige elementen. Denk aan optelfouten in het beoordelingsformulier, onvolledig ingevulde papieren, verkeerd beoordeelde cesuur en dergelijke. Bovendien moet de student het ingevulde beoordelingsformulier van de praktijk naar school brengen en inleveren bij het examenbureau. Allemaal kwetsbaarheden die voor verbetering vatbaar waren. Toen Prove2Move aankondigde dat er een pilot kon worden gestart wilden wij graag meedoen. De administratieve verwerking zou veel efficiënter worden, automatische foutdetectie, minimale kans op fraude, allemaal verbeteringen die de kwaliteit van het examenproces ten goede komen.

Hoe zijn jullie te werk gegaan?

We wilden eerst zien hoe het ICT-systeem werkt, hoe we studenten aan het systeem konden koppelen en hoe we de juiste examenbundels aan de verschillende studenten konden toewijzen. We waren benieuwd naar hoe onze studenten inzicht krijgen in hun examenmateriaal en hoe gebruiksvriendelijk het voor hen is. Daarnaast wilden we zien hoe de beoordeling in de praktijk verloopt en hoe beoordelaars hun beoordelingsformulieren ontvangen als die niet meer op papier geleverd worden. Welke routing volgt het beoordelingsformulier na de beoordeling? Sluit die aan op de huidige werkwijze bij ons op school? Allemaal dingen die je met zo’n pilot vooraf kunt testen zodat je weet waar je aan begint.

Ben je tijdens de pilot nog bugs tegengekomen?

Volgens mij is het de bedoeling van zo’n pilot dat er dingen tevoorschijn komen die opgelost moeten worden. Mijn methode was eenvoudig. Ik testte of alle stappen voor het uitvoeren en beoordelen van een examen ook goed werkten in het digitale systeem. Ik keek hoe een examen wordt gestart, hoe een beoordelaar wordt uitgenodigd en of de beoordelaar ook ziet wat hij moet zien. En ik checkte hoe het beoordelingsformulier terugkomt van de beoordelaar, hoe het examen wordt vastgesteld en wat de student ziet als een examen beoordeeld is. Zodra er dingen waren die niet liepen zoals zou moeten maakte ik een screenshot en overlegde ik met de mensen van Prove2Move. Zij namen mijn feedback mee naar de ontwikkelaar, de bugs werden er uitgehaald en waar nodig werd het programma aangepast op mogelijkheden waar nog niet aan gedacht was bij de eerste ontwikkeling.

Heb je tips voor scholen die ook digitaal willen examineren?

Kijk eerst of het digitale systeem past bij de logistiek van jouw examineringsproces. Het is belangrijk om vervolgens alle betrokkenen te informeren, ze mee te nemen in het proces en uit te leggen wat het doel is van de verandering. Met alle betrokkenen bedoel ik niet alleen studenten, loopbaancoaches, examenbureau, examencommissie en ICT’ers, maar ook de beoordelaars uit de praktijk. Door het grote verloop in de zorg hebben wij te maken met steeds wisselende beoordelaars. Dus moet de instructie simpel georganiseerd kunnen worden en in een oogopslag duidelijk maken wat we van een beoordelaar verwachten. Digitalisering helpt daarbij.

Wat heeft je verrast?

Studenten wilden vooral weten wat digitalisering hun oplevert. Niet verrassend. Wat ons wel verraste was hun enthousiasme over het verdwijnen van de examenmap. Best een zwaar ding dat ze altijd mee moeten slepen naar stage en school. In plaats daarvan een app, die vertelt wat ze al hebben gedaan, dat vonden ze een aanmerkelijke verbetering. Dat ze meteen zien wat ze nog aan examens open hebben staan en dat ze die moeiteloos kunnen vinden, dat vonden ze echt super. Voor de school een kleinigheid, voor studenten een wezenlijke verbetering.

Wat vonden docenten ervan?

De bij de pilot betrokken docenten waren meteen enthousiast. Logisch, digitalisering geeft hun snel een compleet overzicht van de vorderingen van hun studenten. En hoe vaak gebeurt het niet dat een gesprek met een student de mist in gaat omdat de student de map thuis heeft laten liggen… Nu klapt de docent zijn laptop open, klikt op de naam van de student en ziet precies hoe deze ervoor staat. Mooier kan haast niet.

Ervaringen en tips van Madeleine

Digitaal examineren voorkomt geknoei

Als de student een praktijkexamen gaat doen krijgt de beoordelaar een link op zijn telefoon als het examen achter de rug dan drukt de beoordelaar op ‘verzenden’. Het resultaat komt op school binnen. Daar zit helemaal geen vertraging in. Er kan niet mee geknoeid worden. De student kan geen veranderingen meer aanbrengen op het beoordelingsformulier. Dit voorkomt fraude.

Geen telfouten mogelijk

De beoordelaar klikt op de link op zijn telefoon of een ander device en krijgt direct het beoordelingsformulier met de bijpassende uitleg voor zich. Je kunt het alleen verzenden als alle in te vullen velden correct zijn ingevuld. Telfouten zijn uitgesloten en het systeem houdt zelf rekening met de dubbele cesuur in het examen, die nog weleens over het hoofd werd gezien.

Betere kwaliteit

Beoordelaars hebben weinig tijd om zich in de examenmap te verdiepen. Dus ook voor haar of hem is deze digitale vorm een zegen. De kwaliteit van de beoordeling gaat omhoog doordat het systeem de beoordelaar vlak voor de beoordeling nog even wijst op alle dingen waarop gelet moet worden. Bij de toelichting op de beoordeling kan de beoordelaar niet meer volstaan met ‘geweldig gedaan!’ Nu moet de toelichting uit minstens 30 woorden bestaan.

De weg van de student naar het digitaal examen

De student heeft zich voorbereid op het examen. Zij of hij heeft voldoende theoretische kennis, heeft genoeg geoefend en heeft akkoord van de praktijk. Bij het Regio College geven praktijkbeoordelaar en loopbaancoach een GO. De student mag dan met het instemmingsformulier een datum plannen met de beoordelaar. De planning wordt ingeleverd bij de loopbaancoach. Die nodigt de beoordelaar uit voor het examen. De beoordelaar krijgt de link naar het beoordelingsformulier. Het examen kan beginnen en de criteria kunnen beoordeeld worden. Het examen zelf wijkt niet af van de papieren versie.

Is het geschikt voor elke school?

Het systeem is er klaar voor. Maar scholen hebben nog wel wat huiswerk te doen om dit digitale examineringssysteem aan te laten sluiten op hun studentinformatiesysteem. Je kunt nu de resultaten nog niet inlezen op het studentinformatiesysteem van de school. Daar wordt wel aan gewerkt maar het is nog niet klaar. Met één druk op de knop een compleet en foutloos diplomadossier, dat is nog toekomstmuziek.

Maart 2023