Maand: mei 2017

Week 7, ‘Heb lef, vernieuw je onderwijs’ riep ik eerder al. Eigenlijk zou dat gevolgd moeten worden door ‘en blijf je onderwijs verbeteren’. Stilstaan is achteruitgaan. De vraag is: hoe helpt Canvas ons hierbij?

Analytics geven inzicht
Als ik de cursusstatistieken bekijk, zie ik dat studenten met name de dag voor het responsiecollege in Canvas actief zijn. Het aantal pageviews laat week op week daar een piek zien. De individuele formatieve toetsen worden door circa 70% van de studenten op tijd gemaakt. De bespreking van die formatieve toetsen in het kader van de groepsopdracht  wordt daarentegen door nog geen 50% van de studenten ingeleverd. Het team based learning komt daardoor helaas onvoldoende uit de verf. Als verbeterpunt voor volgend jaar heb ik daarom genoteerd om aan de groepsopdrachten ook twee face-to-face summatieve toetsen toe te voegen om zo het team-based learning te stimuleren. Voor de online voorbereiding (het flipped classroom deel) houd ik dan mijn formatieve toetsen zoals ik die nu ook heb. Hiermee denk ik weer een mooie kwaliteitsimpuls te kunnen geven aan het onderwijs.

Hoe goed is de vraag?
Ook de inhoud van de toetsen is onderwerp voor verbetering. Canvas biedt via de toetsstatistieken de mogelijkheid om ook die (automatisch) te beoordelen. Zo kan ik naar de RIT-waarde kijken (die in Canvas onder ‘discriminatie index’ genoemd staat) die iets zegt over hoe goed de vraag is (meer info: http://onlineexamineren.nl/rit-waarde-op-de-rit/). Zo krijg ik dus ook weer voldoende suggesties voor die gewenste kwaliteitsimpuls.

Waarde statistics
Al die statistische gegevens zijn prachtig, maar de valkuil is dat we er teveel waarde aan toekennen. Zo zijn de gegevens over hoe lang iemand actief was troebel te noemen (je kan immers ook inloggen en weglopen) en hoe betrouwbaar is het aantal (tijdige) submissies als mensen in groepsverband (wat je wilt aanmoedigen) met de formatieve toetsen bezig zijn? Bovendien heb ik een relatief kleine groep studenten, dus wat zeggen mijn resultaten? Hoewel wellicht niet alles even ‘significant’ is geeft het mij wel degelijk een indicatie. Net als bij onderwijsverbeteringen geldt hierbij: het is een richting, geen punt.

Week 6, “Ik ben volgende week verhinderd, mag ik de toets inhalen?” Elke docent heeft een dergelijke vraag weleens gehad. Wat doe je? En hoe organiseer je dat inhalen binnen je e-learning module?

Als er omstandigheden zijn waardoor een student echt niet aanwezig kan zijn, denk aan een begrafenis, wil ik natuurlijk schappelijk zijn. Maar wel alleen onder strikte voorwaarden. Een van die voorwaarden is dat de student de toets dan maakt vóór het moment waarop de andere studenten de toets zullen doen. En uiteraard een andere versie.

Stapsgewijs vrijgeven oefenstof
In mijn blended module geef ik de oefenstof stapsgewijs vrij. Zo stel ik bij aanvang van de werkgroep die volgt op het responsiecollege de zogenaamde post-college quizzen open voor de studenten. Daarmee kunnen ze oefenen met de stof die ik in het responsiecollege behandeld heb.

Nu wil het dat de student die vraagt of hij de toets op een ander moment mag doen, niet alleen niet aanwezig kan zijn bij de reguliere toets; hij kan ook niet naar het responsiecollege en de werkgroep eerder die dag komen. Dat betekent dat hij voor het doen van de toets geen toegang zou hebben tot de post-college quiz – en ik wil wel dat al mijn studenten zich evengoed goed kunnen voorbereiden …

Individueel maatwerk
Gelukkig biedt Canvas ook nu weer de juiste ondersteuning. Ik kan een quiz openstellen voor de hele groep op een zekere tijd, en tegelijkertijd ook voor één (of meerdere) individu(en) op een vroeger (of juist later) tijdstip. Het systeem maakt individueel maatwerk mogelijk.

Testcase
Deze student geef ik mee dat hij mijn testcase is. Hij mag kijken of de toets inderdaad voor hem al eerder zichtbaar is. Een andere student vraag ik om mee te doen in onze minipilot. Zij checkt of de toets inderdaad voor haar niet zichtbaar is. Helemaal 100% vertrouw ik de techniek toch nog niet… Gelukkig, het werkt.

Uitzonderingen beperken
Ik kijk welke mogelijkheden Canvas verder nog biedt voor een individuele aanpak … Standaard stel ik in dat elke voorbereidende toets maximaal 3 maal gedaan kan worden. Ik ontdek dat het in Canvas mogelijk is om voor individuele studenten een uitzondering te maken , bijvoorbeeld door de mogelijkheid te geven de voorbereidende toets meer dan drie keer te maken of om toetsen op individueel niveau langer beschikbaar te stellen . Hoewel we uitzonderingen natuurlijk moeten beperken (vanuit pedagogisch oogpunt), is het wel fijn dat Canvas daar waar nodig functionaliteit voor individueel maatwerk biedt.

Week 5, We zijn halverwege mijn module-nieuwe-stijl: blended in Canvas. Tot nu toe een groot succes. Ik ben erg enthousiast over Canvas, de studenten zijn beter voorbereid, en de cijfers significant beter. Maar nu word ik voor het eerst geconfronteerd met een vervelende eigenschap van Canvas.   

Ik ben wat ze een maximizer noemen. Mijn motto is: Als je iets doet, doe het dan goed – anders kun je er maar beter helemaal niet aan beginnen. Mijn keuze om voor mijn blended module een open versie van Canvas te gebruiken – terwijl de rest van de UvA nog met Blackboard werkt en Canvas dus niet ondersteund wordt-, is daar een mooi voorbeeld van. Ik wilde maximale kwaliteit dus koos ik na wat vergelijkend onderzoek voor Canvas. De andere opties voldeden niet aan mijn doelstelling van maximale kwaliteit.

Volgende jaar nog beter en mooier
Dat ik een maximizer ben, heeft voor mijn studenten wellicht voordelen. Ik zal me er niet snel makkelijk vanaf maken. Maar de keerzijde is dat ik erg slecht tegen fouten kan. De stress die ik daarvan krijg, is echt ‘killing’. Ondanks alle tijd die ik in (onder andere) het ontwikkelen van de online formatieve toetsen gestoken heb, waren er toch enkele foutjes ingeslopen. Dat vind ik buitengewoon irritant. Dus ik loop ze allemaal nogmaals (en nogmaals, en nogmaals) langs. Een aantal opdrachten herzie ik omdat ze onvoldoende uit de verf komen. Allermaal leerpunten dus die ik direct verwerk, zodat het volgend jaar nog beter en mooier wordt.

Echt vervelende eigenschap
De menselijke foutjes kan ik gelukkig snel en eenvoudig rechtzetten. Maar nu in week vier loop ik voor het eerst aan tegen een echt vervelende eigenschap van Canvas. Wat is er gebeurd? Je kan inhoud exporteren en importeren. Prachtig in het kader van hergebruik. Maar door het meermaals importeren van content is nu onbedoeld een complete – gelukkig formatieve – toets, inclusief alle cijfers van studenten, overschreven door een oude versie van die toets. Paniek!

Opnieuw een leermoment De Canvas- helpdesk biedt gelukkig uitkomst. Ik ontdek waar ik oude, verwijderde zaken kan vinden, zet die terug en moet daar weer wat aanpassen, maar krijg uiteindelijk daarmee ook de oude resultaten van de studenten terug. Opnieuw een leermoment dus, waar hopelijk straks anderen hun voordeel mee kunnen doen. Ik geef deze Canvas-gril door aan de projectmedewerkers van de UvA-Canvas Proeftuinen die met de inrichting van Canvas-UvA bezig zijn. Hopelijk gaat dit zo straks niet anderen overkomen!

Voor mij startte het Canvas-avontuur met de wens mijn face-to-face-onderwijs om te zetten in een blended learning variant. Ik zocht een digitale leeromgeving die de vernieuwingen die ik wilde invoeren, zoals een actievere studiehouding, goed kon ondersteunen. Het omgekeerde zal straks hopelijk ook gebeuren: na de introductie van Canvas kijken welke onderwijsinnovaties mogelijk zijn. Ik hoop dat docenten die kans ook echt aan zullen grijpen.

Heb lef en maak tijd
In het interview dat ik eerder gaf, was mijn advies al “heb lef”. Hoe langer mijn ‘blended learning met Canvas’-avontuur voortduurt, hoe meer ik achter die uitspraak kan staan. Het is deels wel makkelijker gezegd dan gedaan, want het kost wel tijd. Zelf had ik het geluk deel te mogen nemen aan een project dat keek naar de blended learning mogelijkheden binnen het medische informatiekunde onderwijs van de faculteit Geneeskunde. Dat gaf me de mogelijkheid om tijd (en energie) te steken in het volledig herontwerpen van mijn onderwijsmodule.

E-learning materialen ontwikkelen kost tijd
Vergis je niet. Ik ben er ongeveer 200 uur mee bezig geweest om in Canvas een volledige e-learning op te zetten die aansluit op mijn face-to-face-onderwijs om zo tot een mooie blend te komen. Al die uren waren gingen niet zozeer op aan het leren van Canvas, maar vooral aan het maken van goede formatieve quizzen, kennisclips en een als het ware online dictaat. ‘Vroeger’ was ik klaar met het simpelweg online zetten van mijn slides, nu moet ik tijdens mijn module de formatieve quizzen monitoren, de vragen voor het responsiecollege bekijken en zo voort.

Value for money? Yes!
Maar het is het waard! Voor mijzelf in elk geval dan. Ik merk dat de responsiecolleges van een veel beter (hoger) niveau zijn dan de hoorcolleges van vorig jaar. Ik hoor echter van enkele studenten dat zij toch liever klassiek hoorcollege krijgen. Anderen vinden de werkdruk te hoog. Wat weegt zwaarder? De evaluatie van studenten – hoe zal die uitvallen gegeven deze geluiden? -, of mijn evaluatie? Geen van beide natuurlijk.

Significant betere scores
Wat écht telt is de mate waarin de leerdoelen gehaald zijn en de mate waarin deze doelen en de gevraagde inspanningen realistisch zijn. Na 4 van de 8 summatieve toetsmomenten kan ik daar maar één conclusie uit trekken: het is het waard. Op alle toetsen scoren de studenten significant beter dan vorig jaar – waarbij gecorrigeerd is voor eventuele verschillen op cohortniveau. Daar krijg ik nou energie van! Ik durf nog steeds te zeggen: heb lef!

Mijn nieuwe blended learning aanpak draait inmiddels een aantal weken. Canvas doet waar het voor bedoeld is. Het is een prachtige tool in de zin dat het echt mijn onderwijs ondersteunt. Hoewel de studenten, naar mijn idee, over het algemeen positief zijn, hoor ik ook de eerste kritische noten over de nieuwe opzet.

Antwoorden eerst in groepjes bespreken of toch maar niet?
Bij het ontwerpen van de module koos ik er bewust voor om de antwoorden op de formatieve toetsen niet voor het responsiecollege vrij te geven. Mijn opzet was dat studenten de vragen en antwoorden eerst in groepjes zouden bespreken; een vorm van team based learning. Helaas blijkt dat er al een aantal uitvallers te betreuren is, en niet alle groepen zijn even fanatiek. Met name de betere studenten vragen of de antwoorden toch niet al voor het responsiecollege  gegeven kunnen worden.

Ik snap hun ‘ergernis’ wel. Toen mijn opleiding destijds aankondigde dat men meer groepsopdrachten wilde en meer toetsmomenten, ben ik ook haast gaan maken om al mijn vakken af te ronden voor dit stramien ingezet zou gaan worden. Ik geef ze dus de antwoorden, maar de groepsopdracht blijft wel staan. Deze levert mij immers waardevolle informatie op voor het responsiecollege. Want de studenten geven daarin onder andere aan welke onderdelen ze nog niet zo goed begrijpen en graag in het college besproken willen zien.

Hard aangesproken op foutjes
Hoewel ik erg veel tijd en energie heb gestoken in het opzetten van het materiaal, is  er toch her en der een (klein) foutje geslopen in sommige toetsen. Ik word er genadeloos hard op aangesproken. Terecht? Ja. De studenten hebben recht op goed onderwijsmateriaal. Hoe kun je nou leren als de formatieve toetsen een foutje bevatten.

Maar toch bekruipt mij ook een kleine ergernis. I’m only human. Ik zou hen graag uitleggen dat vrijwel iedere docent/onderzoeker vele malen meer tijd in het onderwijs steekt dan we ervoor krijgen en dat dat soms in schril contrast staat tot de tijd die studenten erin investeren. Smoesjes natuurlijk. De studenten verdienen dit relaas niet, want ze werken wel degelijk hard, zo zie ik aan de Canvas learning analytics en ik moet mijn verlies gewoon nemen. Ze hebben immers gelijk en geen enkel excuus is gerechtvaardigd. Ik voel me er niet prettig bij. De perfectionist in mij kan hier slecht mee omgaan.

Makkelijk aanpassen
Gelukkig is het makkelijk om de foutjes in de toetsen aan te passen en krijgen de studenten hier een automatisch bericht van en worden eventuele scores (voor zover die ertoe doen) ook automatisch bijgewerkt (als je dat wil). Eind goed, al goed. Excuses wederzijds hopelijk aanvaard.