Dilemma’s bij summatief toetsen

Week 8, Deskundigen zijn het erover eens: formatieve toetsen zijn nuttig *. In mijn blended learning module in Canvas heb ik dan ook elke week verschillende formatieve toetsen online beschikbaar gesteld. De summatieve toetsen vonden echter nog op papier en in de collegezaal plaats. Waarom eigenlijk?

Allereerst staat binnen de informatica/informatiekunde de vraag ter discussie of je voor de meer wiskundige vragen wel gebruik kunt maken van meerkeuzevragen. Zelf heb ik bij het opzetten van mijn blended learning module voor de formatieve toetsen veel meerkeuzevragen gemaakt en durf daarom te stellen dat het kan, ook voor de meer wiskundige onderwerpen. Naast de ‘standaard’ meerkeuze vragen, heb ik eveneens geëxperimenteerd met zogenaamde hotspot vragen, waarbij deelnemers op een bepaalde plek op een afbeelding moeten klikken om het juiste antwoord te selecteren. Mijn ervaring daarmee is positief. Het maakt de kans dat studenten het goede antwoord gokken minder groot.

Voordelen meerkeuzevragen én kanttekeningen
Digitaal toetsen met bijvoorbeeld meerkeuzevragen heeft als grootste voordeel  dat het nakijken minder tijd kost. Scores worden automatisch opgeteld en bijgehouden. De tijd die ik hier mee win, kan ik inzetten om mijn module verder te verbeteren. Ook is er bij het nakijken van meerkeuzevragen geen sprake van bias of beoordelingsfouten. Toch wil ik nog wel twee kanttekeningen plaatsen bij het gebruik van meerkeuzevragen bij wiskundige vragen.

Corrigeren voor gokken
Om te beginnen kan het beantwoorden van mijn meerkeuzevragen soms echt meerdere minuten per vraag kosten. Je moet namelijk een algoritme toepassen om tot het juiste antwoord te komen. En als ik wil corrigeren voor gokken dan moet ik eigenlijk meer, veel meer, vragen gaan stellen. Meer vragen dan binnen de toetstijd passen. Verder kun je meerkeuzevragen alleen maar beoordelen met goed of fout. Terwijl het mogelijk is dat een student wel de juiste aanpak en formules gebruikte maar door een vervelend rekenfoutje de vraag toch fout beantwoord heeft. Dit alles overwegende, sta ik dus voor het dilemma: wel of niet meerkeuzevragen gebruiken bij summatieve toetsen. Wegen de voordelen voldoende op tegen de nadelen?

Keuze voor veilig
Tot nu toe kies ik voor veilig. Ik neem de summatieve toetsen af met open vragen, op papier, én in de collegezaal. Maar het zou wel handig zijn als ik de summatieve toetsen online zou kunnen afnemen,. Er zijn namelijk studenten die liefst direct na het responsiecollege de summatieve toets zouden willen maken, terwijl anderen eerst nog willen oefenen. Als ik de summatieve toetsen nou ook digitaal zou afnemen, dan konden studenten op elk gewenst moment starten.

Unieke toetsen
Technisch is er al veel mogelijk in Canvas. Zo kan Canvas per student een unieke toets genereren. Canvas selecteert dan ‘at random’ vragen uit vragenblokken zodat elke student een andere toets krijgt (die alleen toegankelijk is met een bepaalde code). Het is ook mogelijk open vragen te stellen, zelfs met formules erin. Dit jaar blijf ik toch bij het ‘oude’. Ik heb niet de beschikking over een zaal met de juiste faciliteiten (BYOD is helaas nog geen beleid) en ik ben nog niet voldoende zeker van mezelf om de stap naar niet-open vragen te maken. Nog niet.

Plaats- en tijdsonafhankelijk toetsen
Zouden we studenten die summatieve toetsen ook thuis kunnen laten maken? Ja ook dat is al mogelijk met online proctorsoftware, waarmee je online kunt surveilleren. SURF heeft er een white paper  over geschreven en meldt het volgende. ‘De belofte van online proctorsoftware is dat studenten en cursisten hun examens overal (bijvoorbeeld thuis) veilig en betrouwbaar kunnen maken. Controlesoftware, videobeelden en meekijken op het scherm van de student moet voorkomen dat hij of zij fraudeert. In de VS wordt het al regelmatig toegepast en steeds vaker experimenteren Nederlandse instellingen er mee. Online proctoring biedt kansen voor internationaal en flexibel onderwijs, maar er is – zeker in Nederland – nog weinig ervaring mee. Daardoor vinden examencommissies en anderen binnen de opleiding het lastig om te besluiten of, en zo ja op welke manier zij online proctoring toepassen in hun opleiding. Zij worstelen onder meer met vragen rond privacy en fraudebestendigheid.’ Het lijkt dus veelbelovend maar ook hier zitten we voorlopig dus nog met een dilemma!

* Formatief toetsen past bij activerend onderwijs en de student verantwoordelijkheid laten nemen voor het eigen leerproces. De student kan zien waar hij staat en wat hij nog moet doornemen; krijgt feedback. De docent kan bepalen waar nog wat aandacht aan besteed moet worden bij een responsiecollege.
Formatieve toetsen tellen niet mee, summatieve toetsen wel.