De individuele aanpak: mogelijk maar niet altijd wenselijk

Week 6, “Ik ben volgende week verhinderd, mag ik de toets inhalen?” Elke docent heeft een dergelijke vraag weleens gehad. Wat doe je? En hoe organiseer je dat inhalen binnen je e-learning module?

Als er omstandigheden zijn waardoor een student echt niet aanwezig kan zijn, denk aan een begrafenis, wil ik natuurlijk schappelijk zijn. Maar wel alleen onder strikte voorwaarden. Een van die voorwaarden is dat de student de toets dan maakt vóór het moment waarop de andere studenten de toets zullen doen. En uiteraard een andere versie.

Stapsgewijs vrijgeven oefenstof
In mijn blended module geef ik de oefenstof stapsgewijs vrij. Zo stel ik bij aanvang van de werkgroep die volgt op het responsiecollege de zogenaamde post-college quizzen open voor de studenten. Daarmee kunnen ze oefenen met de stof die ik in het responsiecollege behandeld heb.

Nu wil het dat de student die vraagt of hij de toets op een ander moment mag doen, niet alleen niet aanwezig kan zijn bij de reguliere toets; hij kan ook niet naar het responsiecollege en de werkgroep eerder die dag komen. Dat betekent dat hij voor het doen van de toets geen toegang zou hebben tot de post-college quiz – en ik wil wel dat al mijn studenten zich evengoed goed kunnen voorbereiden …

Individueel maatwerk
Gelukkig biedt Canvas ook nu weer de juiste ondersteuning. Ik kan een quiz openstellen voor de hele groep op een zekere tijd, en tegelijkertijd ook voor één (of meerdere) individu(en) op een vroeger (of juist later) tijdstip. Het systeem maakt individueel maatwerk mogelijk.

Testcase
Deze student geef ik mee dat hij mijn testcase is. Hij mag kijken of de toets inderdaad voor hem al eerder zichtbaar is. Een andere student vraag ik om mee te doen in onze minipilot. Zij checkt of de toets inderdaad voor haar niet zichtbaar is. Helemaal 100% vertrouw ik de techniek toch nog niet… Gelukkig, het werkt.

Uitzonderingen beperken
Ik kijk welke mogelijkheden Canvas verder nog biedt voor een individuele aanpak … Standaard stel ik in dat elke voorbereidende toets maximaal 3 maal gedaan kan worden. Ik ontdek dat het in Canvas mogelijk is om voor individuele studenten een uitzondering te maken , bijvoorbeeld door de mogelijkheid te geven de voorbereidende toets meer dan drie keer te maken of om toetsen op individueel niveau langer beschikbaar te stellen . Hoewel we uitzonderingen natuurlijk moeten beperken (vanuit pedagogisch oogpunt), is het wel fijn dat Canvas daar waar nodig functionaliteit voor individueel maatwerk biedt.

Een vervelende eigenschap van Canvas

Week 5, We zijn halverwege mijn module-nieuwe-stijl: blended in Canvas. Tot nu toe een groot succes. Ik ben erg enthousiast over Canvas, de studenten zijn beter voorbereid, en de cijfers significant beter. Maar nu word ik voor het eerst geconfronteerd met een vervelende eigenschap van Canvas.   

Ik ben wat ze een maximizer noemen. Mijn motto is: Als je iets doet, doe het dan goed – anders kun je er maar beter helemaal niet aan beginnen. Mijn keuze om voor mijn blended module een open versie van Canvas te gebruiken – terwijl de rest van de UvA nog met Blackboard werkt en Canvas dus niet ondersteund wordt-, is daar een mooi voorbeeld van. Ik wilde maximale kwaliteit dus koos ik na wat vergelijkend onderzoek voor Canvas. De andere opties voldeden niet aan mijn doelstelling van maximale kwaliteit.

Volgende jaar nog beter en mooier
Dat ik een maximizer ben, heeft voor mijn studenten wellicht voordelen. Ik zal me er niet snel makkelijk vanaf maken. Maar de keerzijde is dat ik erg slecht tegen fouten kan. De stress die ik daarvan krijg, is echt ‘killing’. Ondanks alle tijd die ik in (onder andere) het ontwikkelen van de online formatieve toetsen gestoken heb, waren er toch enkele foutjes ingeslopen. Dat vind ik buitengewoon irritant. Dus ik loop ze allemaal nogmaals (en nogmaals, en nogmaals) langs. Een aantal opdrachten herzie ik omdat ze onvoldoende uit de verf komen. Allermaal leerpunten dus die ik direct verwerk, zodat het volgend jaar nog beter en mooier wordt.

Echt vervelende eigenschap
De menselijke foutjes kan ik gelukkig snel en eenvoudig rechtzetten. Maar nu in week vier loop ik voor het eerst aan tegen een echt vervelende eigenschap van Canvas. Wat is er gebeurd? Je kan inhoud exporteren en importeren. Prachtig in het kader van hergebruik. Maar door het meermaals importeren van content is nu onbedoeld een complete – gelukkig formatieve – toets, inclusief alle cijfers van studenten, overschreven door een oude versie van die toets. Paniek!

Opnieuw een leermoment De Canvas- helpdesk biedt gelukkig uitkomst. Ik ontdek waar ik oude, verwijderde zaken kan vinden, zet die terug en moet daar weer wat aanpassen, maar krijg uiteindelijk daarmee ook de oude resultaten van de studenten terug. Opnieuw een leermoment dus, waar hopelijk straks anderen hun voordeel mee kunnen doen. Ik geef deze Canvas-gril door aan de projectmedewerkers van de UvA-Canvas Proeftuinen die met de inrichting van Canvas-UvA bezig zijn. Hopelijk gaat dit zo straks niet anderen overkomen!

Heb lef: vernieuw je onderwijs in Canvas

Voor mij startte het Canvas-avontuur met de wens mijn face-to-face-onderwijs om te zetten in een blended learning variant. Ik zocht een digitale leeromgeving die de vernieuwingen die ik wilde invoeren, zoals een actievere studiehouding, goed kon ondersteunen. Het omgekeerde zal straks hopelijk ook gebeuren: na de introductie van Canvas kijken welke onderwijsinnovaties mogelijk zijn. Ik hoop dat docenten die kans ook echt aan zullen grijpen.

Heb lef en maak tijd
In het interview dat ik eerder gaf, was mijn advies al “heb lef”. Hoe langer mijn ‘blended learning met Canvas’-avontuur voortduurt, hoe meer ik achter die uitspraak kan staan. Het is deels wel makkelijker gezegd dan gedaan, want het kost wel tijd. Zelf had ik het geluk deel te mogen nemen aan een project dat keek naar de blended learning mogelijkheden binnen het medische informatiekunde onderwijs van de faculteit Geneeskunde. Dat gaf me de mogelijkheid om tijd (en energie) te steken in het volledig herontwerpen van mijn onderwijsmodule.

E-learning materialen ontwikkelen kost tijd
Vergis je niet. Ik ben er ongeveer 200 uur mee bezig geweest om in Canvas een volledige e-learning op te zetten die aansluit op mijn face-to-face-onderwijs om zo tot een mooie blend te komen. Al die uren waren gingen niet zozeer op aan het leren van Canvas, maar vooral aan het maken van goede formatieve quizzen, kennisclips en een als het ware online dictaat. ‘Vroeger’ was ik klaar met het simpelweg online zetten van mijn slides, nu moet ik tijdens mijn module de formatieve quizzen monitoren, de vragen voor het responsiecollege bekijken en zo voort.

Value for money? Yes!
Maar het is het waard! Voor mijzelf in elk geval dan. Ik merk dat de responsiecolleges van een veel beter (hoger) niveau zijn dan de hoorcolleges van vorig jaar. Ik hoor echter van enkele studenten dat zij toch liever klassiek hoorcollege krijgen. Anderen vinden de werkdruk te hoog. Wat weegt zwaarder? De evaluatie van studenten – hoe zal die uitvallen gegeven deze geluiden? -, of mijn evaluatie? Geen van beide natuurlijk.

Significant betere scores
Wat écht telt is de mate waarin de leerdoelen gehaald zijn en de mate waarin deze doelen en de gevraagde inspanningen realistisch zijn. Na 4 van de 8 summatieve toetsmomenten kan ik daar maar één conclusie uit trekken: het is het waard. Op alle toetsen scoren de studenten significant beter dan vorig jaar – waarbij gecorrigeerd is voor eventuele verschillen op cohortniveau. Daar krijg ik nou energie van! Ik durf nog steeds te zeggen: heb lef!

Daar is ie: De kritische noot! (Week 3)

Mijn nieuwe blended learning aanpak draait inmiddels een aantal weken. Canvas doet waar het voor bedoeld is. Het is een prachtige tool in de zin dat het echt mijn onderwijs ondersteunt. Hoewel de studenten, naar mijn idee, over het algemeen positief zijn, hoor ik ook de eerste kritische noten over de nieuwe opzet.

Antwoorden eerst in groepjes bespreken of toch maar niet?
Bij het ontwerpen van de module koos ik er bewust voor om de antwoorden op de formatieve toetsen niet voor het responsiecollege vrij te geven. Mijn opzet was dat studenten de vragen en antwoorden eerst in groepjes zouden bespreken; een vorm van team based learning. Helaas blijkt dat er al een aantal uitvallers te betreuren is, en niet alle groepen zijn even fanatiek. Met name de betere studenten vragen of de antwoorden toch niet al voor het responsiecollege  gegeven kunnen worden.

Ik snap hun ‘ergernis’ wel. Toen mijn opleiding destijds aankondigde dat men meer groepsopdrachten wilde en meer toetsmomenten, ben ik ook haast gaan maken om al mijn vakken af te ronden voor dit stramien ingezet zou gaan worden. Ik geef ze dus de antwoorden, maar de groepsopdracht blijft wel staan. Deze levert mij immers waardevolle informatie op voor het responsiecollege. Want de studenten geven daarin onder andere aan welke onderdelen ze nog niet zo goed begrijpen en graag in het college besproken willen zien.

Hard aangesproken op foutjes
Hoewel ik erg veel tijd en energie heb gestoken in het opzetten van het materiaal, is  er toch her en der een (klein) foutje geslopen in sommige toetsen. Ik word er genadeloos hard op aangesproken. Terecht? Ja. De studenten hebben recht op goed onderwijsmateriaal. Hoe kun je nou leren als de formatieve toetsen een foutje bevatten.

Maar toch bekruipt mij ook een kleine ergernis. I’m only human. Ik zou hen graag uitleggen dat vrijwel iedere docent/onderzoeker vele malen meer tijd in het onderwijs steekt dan we ervoor krijgen en dat dat soms in schril contrast staat tot de tijd die studenten erin investeren. Smoesjes natuurlijk. De studenten verdienen dit relaas niet, want ze werken wel degelijk hard, zo zie ik aan de Canvas learning analytics en ik moet mijn verlies gewoon nemen. Ze hebben immers gelijk en geen enkel excuus is gerechtvaardigd. Ik voel me er niet prettig bij. De perfectionist in mij kan hier slecht mee omgaan.

Makkelijk aanpassen
Gelukkig is het makkelijk om de foutjes in de toetsen aan te passen en krijgen de studenten hier een automatisch bericht van en worden eventuele scores (voor zover die ertoe doen) ook automatisch bijgewerkt (als je dat wil). Eind goed, al goed. Excuses wederzijds hopelijk aanvaard.

Learning Analytics versus Privacy: waar trek je de grens?

We zijn inmiddels twee weken op weg met mijn module in Canvas. En ook al is dat kort, toch krijg ik al een beeld van welke studenten goede en welke minder goede resultaten behalen. En dan komt de vraag: wat doe je daarmee wel en wat niet?

Canvas laat me zien welke instrumenten studenten al dan niet gebruiken om hun leerproces te ondersteunen. Het discussieforum gebruiken ze niet, maar de formatieve toetsen zijn duidelijk gewild. Het leuke is dat het gebruik van instrumenten in Canvas mij ook direct inzicht geeft in hoe ik mijn module volgend jaar verder kan verbeteren.

Rendementsdenken – een vies woord?
Het is voor veel docenten een bekende spagaat. Je wilt dat de rendementen bij je vak voldoende hoog zijn, maar tegelijkertijd wil je ook dat de leerdoelen behaald worden. Dus je wilt geen onnodige hindernissen opwerpen, maar ook geen cadeautjes weggeven. Er wordt hard geprobeerd de studenten die minder goede cijfers behalen toch erbij te trekken. Ook ik maak me daar schuldig aan. We steken veel energie in de studenten die niet zo goed meekomen en hebben misschien wel te weinig aandacht voor de goede student die daardoor wellicht minder gemotiveerd raakt …

Wat kan Canvas doen om te ondersteunen bij het stimuleren van studenten?
Je wilt zien hoe goed studenten het doen. Daarnaast is het interessant te zien hoe hun inzet is. Is er bijvoorbeeld een relatie tussen inzet en resultaten? Er zijn studenten die je zou willen stimuleren om harder aan de slag te gaan. Die zetten zich weinig in en halen lage cijfers. Maar er zijn er ook die met dezelfde inzet zeer goede scores halen: die kunnen extra uitdaging gebruiken. Bijvoorbeeld een mooi honours traject of moeilijkere oefeningen en/of stof. De studenten die wel hard werken, maar desondanks lage cijfers halen, zou je bijvoorbeeld kunnen ondersteunen met een online vragenuur.
Via Canvas kan ik per toets berichten sturen naar selecties van studenten. Bijvoorbeeld naar de groepen: ‘studenten met een cijfer lager dan een 6’ of ‘studenten die de opdracht niet hadden ingeleverd’, én naar ‘studenten met een prachtig cijfer’. Berichten op maat dus.

Big Brother
Die inzet, is die meetbaar? Ik kan in Canvas per student zien hoeveel pagina’s ze per dag bekeken hebben. En welke cijfers ze halen voor de formatieve quizzen en wanneer ze deze ingediend hebben. Terecht vragen mijn studenten wat ik met al die data doe. Hier doemt een privacyvraagstuk op. Ik vind het ook wel lastig. In hoeverre is het gerechtvaardigd om Big Brother-praktijken uit te voeren?

Mag een docent zich met inzet bemoeien?
Mag een docent zich met inzet bemoeien? Is dat niet een persoonlijke keuze van de student? Ik hou het bij het puur bekijken van de cijfers van de summatieve toetsen, plus  het maken van een analyse van pageviews, cijfers per vraag per quiz et cetera op cohortniveau. Dat is voor mij voldoende; daar trek ik de grens. Met de inzet van studenten bemoei ik me niet. Dat is hun eigen keuze. Ik bied wel zoveel mogelijk oefenmateriaal aan zodat ik zoveel mogelijk studenten kan helpen. Puur op basis van de cijfers probeer ik studenten die nog niet zo goed scoren, extra te motiveren, en complimenteer ik de studenten die goede resultaten laten zien. Ik ben wel benieuwd hoe studenten die meetbaarheid van inzet straks in Canvas gaan beoordelen. Food for thought!

Vol spanning volg ik mijn studenten in Canvas (Week 1)

We zijn van start! En het leuke is dat ik in Canvas kan zien wat mijn studenten doen en wat dat oplevert. Vol spanning wacht ik af en bijna dwangmatig monitor ik de statistieken …

Voorwaardelijke toegang
Mijn lesmateriaal heb ik per onderwerp gestructureerd en in Canvas geplaatst in zogenaamde modules. Elke module bestaat uit een verzameling tekstpagina’s, quizzen, kennisclipfilmpjes etc. Om met de eerste module te kunnen starten, moeten studenten eerst verplicht een vragenlijst over hun blended learning verwachtingen invullen. Als ze dat niet doen dan krijgen ze geen toegang tot de eerste module. Dat kun je in Canvas heel makkelijk instellen via ‘requirements’.

41% zegt hoorcolleges niet voor te bereiden
Vol spanning kijk ik naar de antwoorden. 41% zegt hoorcolleges niet voor te bereiden, slechts 33% geeft aan goed te kunnen plannen en zo’n 20% geeft aan eigenlijk een voorkeur voor enkel face-to-face onderwijs te hebben.’

‘Wat kan of moet ik met deze gegevens? En wat biedt Canvas mij hierin ter ondersteuning?

Ik kies voor actief benaderen
Het is even zoeken naar de juiste balans. Ga ik studenten elke week via Canvas een bericht sturen? Of laat ik het in week 1 even gaan? Ik heb ‘maar’ 8 weken en als ik in week 1 al van mijn plan afwijk, ‘mislukt’ wellicht de hele opzet. Ik kies ervoor mijn studenten actief te benaderen. Ik stuur ze een bericht dat ze in Canvas ontvangen met daarin nog even op een rijtje wat ik komende week van ze verwacht en wanneer het af moet. In ‘setting preferences’ kunnen ze zelf aangeven of de berichten die ik ze via Canvas stuur ook op hun UvA-mail willen ontvangen.

Direct na mijn bericht zie ik studenten online komen Direct na het versturen van mijnbericht zie ik studenten online komen. Dat stemt positief. De eerste formatieve toetsen worden ook gemaakt. Ai. Geen beste resultaten. Waren mijn teksten en kennisclips niet voldoende? Of hebben ze zich er makkelijk vanaf gemaakt? Weer die twijfel.

Studenten zijn toch voorbereid
Het eerste responsiecollege. Een klein juichmoment. Flink wat pageviews zie ik via de statistieken. Iedereen heeft de quizzen gemaakt. Oké, de een fanatieker dan de ander, maar toch. De studenten hebben zich voorbereid. Kortom: ook die 41% die zegt hoorcolleges niet voor te bereiden is toch overstag gegaan.

Relatie tussen tijd online en cijfer
Ik ben (voorzichtig) positief. De eerste summatieve toets is beter gemaakt dan vorig jaar. Ook is er een duidelijke relatie tussen de tijd die studenten online waren en hun cijfer. Via Canvas kun je selecteren dat je alleen die studenten een bericht stuurt die een onvoldoende hadden. Ik stuur ze een aanmoedingsmail en probeer zo juist hen te motiveren voor week 2. Ik hoop nu dat er een groepsproces op gang komt waarbij duidelijk wordt dat een goede voorbereiding echt loont. Ondertussen monitor ik de statistieken bijna dwangmatig. De start is gemaakt, de eerste hobbel genomen. Op naar week 2.

Van face-to-face naar blended – Kwestie van ‘even’ omzetten?

Het avontuur begint. Ik ga met een nieuwe digitale leeromgeving aan de slag om mijn onderwijs in de vorm van blended learning vorm te kunnen geven.

De knoop was doorgehakt. Ik zou de digitale leeromgeving Canvas gaan inzetten ter ondersteuning van mijn onderwijsmodule voortgezet programmeren en wiskunde. Die module, of eigenlijk ‘mijn’ deel daarin, was toe aan een opfrisbeurt, aan een meer eigentijds onderwijsconcept: Blended Learning!

De stof vraagt namelijk om veel oefening om tot een goed begrip te komen, meer dan we gaven. Maar wat mij persoonlijk vooral een doorn in het oog was: het hoorcollege was een samenvatting van het boek. Dat moest anders, beter, voor iedereen efficiënter!

Verrijkte zelfstudie online
We wilden dat studenten zich online zouden kunnen voorbereiden op de colleges en werkgroepen. Na enig vergelijkend onderzoek besloot ik dat Canvas de meest passende leeromgeving was voor onze verrijkte zelfstudieopzet.

Canvas leren wijst zich vanzelf
Het onderwijsmateriaal lag er al, dus het zou een klusje van “even omzetten” worden:  van face-to-face- naar blended onderwijs. Nou ja ‘even’? Canvas leren kostte nog de minste tijd. Een paar uurtjes heen en weer klikken en ik kon aan de slag. Al doende leert men. Het wijst zich eigenlijk vanzelf.  De teksten erin zetten zou rechttoe rechtaan zijn, dacht ik …. Voor de toetsen en dergelijke zou ik later wel kijken.

‘Canvas leren kostte nog de minste tijd.’

Geen ruimte voor interpretatie overlaten
Maar al snel merkte ik dat mijn teksten ook wel wat opfrissing konden gebruiken. En dat je wat je tijdens een college vertelt – het basisverhaal dat ik ooit had uitgewerkt – niet zomaar online kan zetten. Als een tekst online staat moet deze helemaal kloppen; geen ruimte voor interpretatie overlaten. En zo herschreef ik eigenlijk al het materiaal.

Van open naar meerkeuzevragen
Daarmee stond de basis en was het tijd voor de formatieve quizzen. ‘Even’ omzetten van open vragen (want oh daar houden we zo van) naar meerkeuzevragen. En zorgen voor een uitgebreide toelichting van de juiste antwoorden om zo studenten goed bij hun leerproces te begeleiden. Nou dan ook nog even wat kennisclips her en der omdat een algoritme uitleggen nou eenmaal beter werkt met animaties.

Was het de moeite waard?
En dan komt hét moment nabij: de start van de module, of eigenlijk, het openzetten van Canvas nog voor het eerste contactmoment. De studenten werden aan Canvas toegevoegd. Alles stond in de steigers. En dan slaat de angst toe. Zouden de studenten dit eigenlijk wel waarderen? Was het ‘even’ omzetten de moeite waard geweest? De logins verstuurd, de eerste student logt in. Fingers crossed. Nog een paar dagen tot het eerste responsiecollege. De eerste statistieken, die laten zien wat de studenten verwachten van blended learning, zijn hoopvol.

Maar nu gaan we het echt beleven!