Auteur: Danielle Sent

Het zit erop. Mijn module met een blended learning opzet in Canvas werd vorige week afgesloten met het tentamen. De resultaten mogen er zijn! Iedereen, ja iedereen, heeft het eerste deel van de module gehaald. Chapeau!

Spannend
Toegegeven, ik vond het een spannend avontuur. Ik ben gestart vanuit mijn intrinsieke motivatie om de module Voortgezet Programmeren en Wiskunde verder te verbeteren. Ik wilde graag kijken of blended learning daaraan kan bijdragen. Canvas ondersteunde me daarbij. Al voor aanvang van de module zaten er meer dan 200 uur voor mij in het ontwikkelen van de blended opzet en het inrichten van Canvas. En inderdaad, ik heb me meer dan eens afgevraagd of het dat nou allemaal waard was. Gelukkig wel, zo blijkt nu.

Cohortvergelijking
Wekelijks was er een responsiecollege met direct aansluitend een werkgroep en een summatieve tussentoets. Week na week volgde ik de cijfers. De opzet van de tussentoetsen was 100% gelijk aan voorgaande jaren en daarmee waren de cijfers dus vergelijkbaar. Om te kijken of het huidige cohort studenten wellicht überhaupt beter of slechter presteert (tot nu toe) dan het cohort van vorig jaar vergeleek ik de cijfers voor twee eerdere modules van dit jaar en vorig jaar. Ik vond geen significant verschil in de studieprestaties van het vorige en het huidige cohort.

5 van de 8 summatieve tussentoetsen significant beter gemaakt
In voorgaande jaren werd bij mijn module Voortgezet Programmeren de toets van de eerste week altijd slecht gemaakt. Studenten hadden zich niet voorbereid en wisten ook niet wat ze moesten verwachten van zo’n summatieve toets. Door de verplichte formatieve toets (je moest deze doen om je summatieve toets te kunnen laten meetellen voor je eindcijfer)  waren ze dit jaar wel voorbereid. Het resultaat daarvan was al in week 1 zichtbaar: de eerste tussentoets was significant beter gemaakt. Dit succes hield aan. Van de 8 tussentoetsen zijn er 5 significant beter gemaakt en 3 beter, doch (net) niet significant.

Moment of truth
De tentamenvragen heb ik laten screenen door twee collega-docenten. Zij beoordeelden het niveau van de vragen als tenminste gelijk aan vorig jaar, en eigenlijk iets hoger …  Ook hebben de collega-docenten steekproefgewijs wat tentamens nagekeken. En dan is daar ‘the moment of truth’… Je krijgt het enorme pak papier en je hart begint te bonzen. Tijd om na te kijken.  Wat een resultaat! Een significant betere tentamenscore dan vorig jaar.

Nadere analyse volgt
Via de learning analytics van Canvas en de evaluatie die ik heb uitgezet onder mijn studenten, beschik ik straks over nog veel meer data die ik ga analyseren om te kijken wat blended onderwijs zo succesvol maakt. Is er een verband tussen het tentamencijfer en de tijd online in Canvas? Wat is de SUS-score van Canvas? Hoe staan de studenten tegenover blended learning? Op naar de volgende blog!

Het hoort erbij: nakijkwerk. Je wilt immers toch een ‘bewijs’ van bekwaamheid zien van de student. Maar het geeft een hoop ‘gedoe’. Het is vooral de  administratie eromheen die vaak – onnodig – veel tijd kost en ergernis geeft. Gelukkig biedt Canvas functionaliteiten om dit leed te verlichten.

Administratieve kwelling
Voorgaande jaren stroomde mijn mailbox over. Studenten leverden werk per e-mail in. Liefst ook nog eens meerdere versies, want ‘oops’, ze waren toch nog wat vergeten … En ondanks mijn duidelijke instructies verstuurden studenten de mails te laat; voorzagen ze de mails niet van het juiste onderwerp; en vergaten ze in de documentnaam hun studentnummer of de naam van hun samenwerkingspartner te vermelden. Menig docent zal deze kwelling herkennen. Voor je aan het echte nakijken kunt beginnen… Via Blackboard was het al een stuk(je) beter. In Canvas gaat het nog makkelijker.

Automatische feedback
Voor mijn blended module heb ik alle formatieve toetsen afgenomen en nagekeken in Canvas. Dat werkt heerlijk! Canvas berekent automatisch het eindcijfer. En omdat ik vooraf alle goede en foute antwoorden van een uitgebreide toelichting had voorzien, ontvingen studenten ook nog eens automatisch feedback. Dat vroeg weliswaar om een flinke tijdsinvestering, maar verdient zich wat mij betreft dubbel en dwars terug. Om diverse redenen, nam – en neem ik ook komend jaar – de summatieve toetsen nog af op papier. Daarover vertelde ik al in mijn blog ‘Dilemmas bij summatief toetsen’.

Indeling in groepen
De wekelijkse groepsopdracht, waarin de studenten in groepsverband de vragen opstellen die ze behandeld willen zien in de responsiecolleges, liet ik via Canvas indienen. Canvas deelt (desgevraagd) de studenten automatisch in in groepen. Ik vroeg de studenten om de opdracht gezamenlijk in te leveren; dus één inzending per groep.

Aangeven hoe opdrachten in te leveren
Je kunt in Canvas aangeven hoe studenten de opdracht mogen (of moeten) inleveren. Je kunt kiezen uit: online, op papier of via een externe tool. Bij online kun je weer kiezen uit: eenvoudige tekstinvoer, een url, of voor bestanden – waarbij je dan uiteraard het bestandtype weer kunt instellen. Ik koos voor bestanden in Word of PDF.

Pushbericht bij ingeleverde opdracht
Bij de notificaties (mededelingen) had ik ingesteld dat ik graag een pushbericht wilde ontvangen in de Canvas-app én in mijn mailbox wanneer een opdracht ingeleverd werd. In de loop van de cursus vond ik een pushbericht in de app eigenlijk wel voldoende, en heb ik ‘ontvangen van een mailbericht bij een submissie’ uitgeschakeld.

Nakijken met de Speedgrader
Het administratieve deel van het nakijken werd zo een eenvoudig te klaren klusje. Dan het nakijkwerk zelf….. Je kunt alles downloaden. Een andere optie is de functionaliteit SpeedGrader. Hiermee kun je eenvoudig submissie voor submissie langslopen en direct in het document je feedback geven: tekenen, doorhalen, eigenlijk alles wat ik nodig had. Daarnaast kun je bij het document ook nog algemene feedback geven en aangeven dat je feedback (zowel in als bij het document) naar de student of groep studenten gestuurd mag worden. Via de SpeedGrader kun je ook een cijfer toekennen en dat komt dan automatisch in het Gradebook te staan. Ik keek alles zelf na met de Speedgrader, maar je kunt de studenten ook makkelijk elkaar laten beoordelen via peer feedback.

Canvas maakt me blij. Allereerst door hoe het onderwijsvernieuwing ondersteunt, en  ook niet onbelangrijk: omdat het taken verlicht die ik tot de categorie ‘noodzakelijk kwaad’ reken.

Week 7, ‘Heb lef, vernieuw je onderwijs’ riep ik eerder al. Eigenlijk zou dat gevolgd moeten worden door ‘en blijf je onderwijs verbeteren’. Stilstaan is achteruitgaan. De vraag is: hoe helpt Canvas ons hierbij?

Analytics geven inzicht
Als ik de cursusstatistieken bekijk, zie ik dat studenten met name de dag voor het responsiecollege in Canvas actief zijn. Het aantal pageviews laat week op week daar een piek zien. De individuele formatieve toetsen worden door circa 70% van de studenten op tijd gemaakt. De bespreking van die formatieve toetsen in het kader van de groepsopdracht  wordt daarentegen door nog geen 50% van de studenten ingeleverd. Het team based learning komt daardoor helaas onvoldoende uit de verf. Als verbeterpunt voor volgend jaar heb ik daarom genoteerd om aan de groepsopdrachten ook twee face-to-face summatieve toetsen toe te voegen om zo het team-based learning te stimuleren. Voor de online voorbereiding (het flipped classroom deel) houd ik dan mijn formatieve toetsen zoals ik die nu ook heb. Hiermee denk ik weer een mooie kwaliteitsimpuls te kunnen geven aan het onderwijs.

Hoe goed is de vraag?
Ook de inhoud van de toetsen is onderwerp voor verbetering. Canvas biedt via de toetsstatistieken de mogelijkheid om ook die (automatisch) te beoordelen. Zo kan ik naar de RIT-waarde kijken (die in Canvas onder ‘discriminatie index’ genoemd staat) die iets zegt over hoe goed de vraag is (meer info: http://onlineexamineren.nl/rit-waarde-op-de-rit/). Zo krijg ik dus ook weer voldoende suggesties voor die gewenste kwaliteitsimpuls.

Waarde statistics
Al die statistische gegevens zijn prachtig, maar de valkuil is dat we er teveel waarde aan toekennen. Zo zijn de gegevens over hoe lang iemand actief was troebel te noemen (je kan immers ook inloggen en weglopen) en hoe betrouwbaar is het aantal (tijdige) submissies als mensen in groepsverband (wat je wilt aanmoedigen) met de formatieve toetsen bezig zijn? Bovendien heb ik een relatief kleine groep studenten, dus wat zeggen mijn resultaten? Hoewel wellicht niet alles even ‘significant’ is geeft het mij wel degelijk een indicatie. Net als bij onderwijsverbeteringen geldt hierbij: het is een richting, geen punt.

Week 6, “Ik ben volgende week verhinderd, mag ik de toets inhalen?” Elke docent heeft een dergelijke vraag weleens gehad. Wat doe je? En hoe organiseer je dat inhalen binnen je e-learning module?

Als er omstandigheden zijn waardoor een student echt niet aanwezig kan zijn, denk aan een begrafenis, wil ik natuurlijk schappelijk zijn. Maar wel alleen onder strikte voorwaarden. Een van die voorwaarden is dat de student de toets dan maakt vóór het moment waarop de andere studenten de toets zullen doen. En uiteraard een andere versie.

Stapsgewijs vrijgeven oefenstof
In mijn blended module geef ik de oefenstof stapsgewijs vrij. Zo stel ik bij aanvang van de werkgroep die volgt op het responsiecollege de zogenaamde post-college quizzen open voor de studenten. Daarmee kunnen ze oefenen met de stof die ik in het responsiecollege behandeld heb.

Nu wil het dat de student die vraagt of hij de toets op een ander moment mag doen, niet alleen niet aanwezig kan zijn bij de reguliere toets; hij kan ook niet naar het responsiecollege en de werkgroep eerder die dag komen. Dat betekent dat hij voor het doen van de toets geen toegang zou hebben tot de post-college quiz – en ik wil wel dat al mijn studenten zich evengoed goed kunnen voorbereiden …

Individueel maatwerk
Gelukkig biedt Canvas ook nu weer de juiste ondersteuning. Ik kan een quiz openstellen voor de hele groep op een zekere tijd, en tegelijkertijd ook voor één (of meerdere) individu(en) op een vroeger (of juist later) tijdstip. Het systeem maakt individueel maatwerk mogelijk.

Testcase
Deze student geef ik mee dat hij mijn testcase is. Hij mag kijken of de toets inderdaad voor hem al eerder zichtbaar is. Een andere student vraag ik om mee te doen in onze minipilot. Zij checkt of de toets inderdaad voor haar niet zichtbaar is. Helemaal 100% vertrouw ik de techniek toch nog niet… Gelukkig, het werkt.

Uitzonderingen beperken
Ik kijk welke mogelijkheden Canvas verder nog biedt voor een individuele aanpak … Standaard stel ik in dat elke voorbereidende toets maximaal 3 maal gedaan kan worden. Ik ontdek dat het in Canvas mogelijk is om voor individuele studenten een uitzondering te maken , bijvoorbeeld door de mogelijkheid te geven de voorbereidende toets meer dan drie keer te maken of om toetsen op individueel niveau langer beschikbaar te stellen . Hoewel we uitzonderingen natuurlijk moeten beperken (vanuit pedagogisch oogpunt), is het wel fijn dat Canvas daar waar nodig functionaliteit voor individueel maatwerk biedt.

Week 5, We zijn halverwege mijn module-nieuwe-stijl: blended in Canvas. Tot nu toe een groot succes. Ik ben erg enthousiast over Canvas, de studenten zijn beter voorbereid, en de cijfers significant beter. Maar nu word ik voor het eerst geconfronteerd met een vervelende eigenschap van Canvas.   

Ik ben wat ze een maximizer noemen. Mijn motto is: Als je iets doet, doe het dan goed – anders kun je er maar beter helemaal niet aan beginnen. Mijn keuze om voor mijn blended module een open versie van Canvas te gebruiken – terwijl de rest van de UvA nog met Blackboard werkt en Canvas dus niet ondersteund wordt-, is daar een mooi voorbeeld van. Ik wilde maximale kwaliteit dus koos ik na wat vergelijkend onderzoek voor Canvas. De andere opties voldeden niet aan mijn doelstelling van maximale kwaliteit.

Volgende jaar nog beter en mooier
Dat ik een maximizer ben, heeft voor mijn studenten wellicht voordelen. Ik zal me er niet snel makkelijk vanaf maken. Maar de keerzijde is dat ik erg slecht tegen fouten kan. De stress die ik daarvan krijg, is echt ‘killing’. Ondanks alle tijd die ik in (onder andere) het ontwikkelen van de online formatieve toetsen gestoken heb, waren er toch enkele foutjes ingeslopen. Dat vind ik buitengewoon irritant. Dus ik loop ze allemaal nogmaals (en nogmaals, en nogmaals) langs. Een aantal opdrachten herzie ik omdat ze onvoldoende uit de verf komen. Allermaal leerpunten dus die ik direct verwerk, zodat het volgend jaar nog beter en mooier wordt.

Echt vervelende eigenschap
De menselijke foutjes kan ik gelukkig snel en eenvoudig rechtzetten. Maar nu in week vier loop ik voor het eerst aan tegen een echt vervelende eigenschap van Canvas. Wat is er gebeurd? Je kan inhoud exporteren en importeren. Prachtig in het kader van hergebruik. Maar door het meermaals importeren van content is nu onbedoeld een complete – gelukkig formatieve – toets, inclusief alle cijfers van studenten, overschreven door een oude versie van die toets. Paniek!

Opnieuw een leermoment De Canvas- helpdesk biedt gelukkig uitkomst. Ik ontdek waar ik oude, verwijderde zaken kan vinden, zet die terug en moet daar weer wat aanpassen, maar krijg uiteindelijk daarmee ook de oude resultaten van de studenten terug. Opnieuw een leermoment dus, waar hopelijk straks anderen hun voordeel mee kunnen doen. Ik geef deze Canvas-gril door aan de projectmedewerkers van de UvA-Canvas Proeftuinen die met de inrichting van Canvas-UvA bezig zijn. Hopelijk gaat dit zo straks niet anderen overkomen!

Voor mij startte het Canvas-avontuur met de wens mijn face-to-face-onderwijs om te zetten in een blended learning variant. Ik zocht een digitale leeromgeving die de vernieuwingen die ik wilde invoeren, zoals een actievere studiehouding, goed kon ondersteunen. Het omgekeerde zal straks hopelijk ook gebeuren: na de introductie van Canvas kijken welke onderwijsinnovaties mogelijk zijn. Ik hoop dat docenten die kans ook echt aan zullen grijpen.

Heb lef en maak tijd
In het interview dat ik eerder gaf, was mijn advies al “heb lef”. Hoe langer mijn ‘blended learning met Canvas’-avontuur voortduurt, hoe meer ik achter die uitspraak kan staan. Het is deels wel makkelijker gezegd dan gedaan, want het kost wel tijd. Zelf had ik het geluk deel te mogen nemen aan een project dat keek naar de blended learning mogelijkheden binnen het medische informatiekunde onderwijs van de faculteit Geneeskunde. Dat gaf me de mogelijkheid om tijd (en energie) te steken in het volledig herontwerpen van mijn onderwijsmodule.

E-learning materialen ontwikkelen kost tijd
Vergis je niet. Ik ben er ongeveer 200 uur mee bezig geweest om in Canvas een volledige e-learning op te zetten die aansluit op mijn face-to-face-onderwijs om zo tot een mooie blend te komen. Al die uren waren gingen niet zozeer op aan het leren van Canvas, maar vooral aan het maken van goede formatieve quizzen, kennisclips en een als het ware online dictaat. ‘Vroeger’ was ik klaar met het simpelweg online zetten van mijn slides, nu moet ik tijdens mijn module de formatieve quizzen monitoren, de vragen voor het responsiecollege bekijken en zo voort.

Value for money? Yes!
Maar het is het waard! Voor mijzelf in elk geval dan. Ik merk dat de responsiecolleges van een veel beter (hoger) niveau zijn dan de hoorcolleges van vorig jaar. Ik hoor echter van enkele studenten dat zij toch liever klassiek hoorcollege krijgen. Anderen vinden de werkdruk te hoog. Wat weegt zwaarder? De evaluatie van studenten – hoe zal die uitvallen gegeven deze geluiden? -, of mijn evaluatie? Geen van beide natuurlijk.

Significant betere scores
Wat écht telt is de mate waarin de leerdoelen gehaald zijn en de mate waarin deze doelen en de gevraagde inspanningen realistisch zijn. Na 4 van de 8 summatieve toetsmomenten kan ik daar maar één conclusie uit trekken: het is het waard. Op alle toetsen scoren de studenten significant beter dan vorig jaar – waarbij gecorrigeerd is voor eventuele verschillen op cohortniveau. Daar krijg ik nou energie van! Ik durf nog steeds te zeggen: heb lef!

Mijn nieuwe blended learning aanpak draait inmiddels een aantal weken. Canvas doet waar het voor bedoeld is. Het is een prachtige tool in de zin dat het echt mijn onderwijs ondersteunt. Hoewel de studenten, naar mijn idee, over het algemeen positief zijn, hoor ik ook de eerste kritische noten over de nieuwe opzet.

Antwoorden eerst in groepjes bespreken of toch maar niet?
Bij het ontwerpen van de module koos ik er bewust voor om de antwoorden op de formatieve toetsen niet voor het responsiecollege vrij te geven. Mijn opzet was dat studenten de vragen en antwoorden eerst in groepjes zouden bespreken; een vorm van team based learning. Helaas blijkt dat er al een aantal uitvallers te betreuren is, en niet alle groepen zijn even fanatiek. Met name de betere studenten vragen of de antwoorden toch niet al voor het responsiecollege  gegeven kunnen worden.

Ik snap hun ‘ergernis’ wel. Toen mijn opleiding destijds aankondigde dat men meer groepsopdrachten wilde en meer toetsmomenten, ben ik ook haast gaan maken om al mijn vakken af te ronden voor dit stramien ingezet zou gaan worden. Ik geef ze dus de antwoorden, maar de groepsopdracht blijft wel staan. Deze levert mij immers waardevolle informatie op voor het responsiecollege. Want de studenten geven daarin onder andere aan welke onderdelen ze nog niet zo goed begrijpen en graag in het college besproken willen zien.

Hard aangesproken op foutjes
Hoewel ik erg veel tijd en energie heb gestoken in het opzetten van het materiaal, is  er toch her en der een (klein) foutje geslopen in sommige toetsen. Ik word er genadeloos hard op aangesproken. Terecht? Ja. De studenten hebben recht op goed onderwijsmateriaal. Hoe kun je nou leren als de formatieve toetsen een foutje bevatten.

Maar toch bekruipt mij ook een kleine ergernis. I’m only human. Ik zou hen graag uitleggen dat vrijwel iedere docent/onderzoeker vele malen meer tijd in het onderwijs steekt dan we ervoor krijgen en dat dat soms in schril contrast staat tot de tijd die studenten erin investeren. Smoesjes natuurlijk. De studenten verdienen dit relaas niet, want ze werken wel degelijk hard, zo zie ik aan de Canvas learning analytics en ik moet mijn verlies gewoon nemen. Ze hebben immers gelijk en geen enkel excuus is gerechtvaardigd. Ik voel me er niet prettig bij. De perfectionist in mij kan hier slecht mee omgaan.

Makkelijk aanpassen
Gelukkig is het makkelijk om de foutjes in de toetsen aan te passen en krijgen de studenten hier een automatisch bericht van en worden eventuele scores (voor zover die ertoe doen) ook automatisch bijgewerkt (als je dat wil). Eind goed, al goed. Excuses wederzijds hopelijk aanvaard.

We zijn van start! En het leuke is dat ik in Canvas kan zien wat mijn studenten doen en wat dat oplevert. Vol spanning wacht ik af en bijna dwangmatig monitor ik de statistieken …

Voorwaardelijke toegang
Mijn lesmateriaal heb ik per onderwerp gestructureerd en in Canvas geplaatst in zogenaamde modules. Elke module bestaat uit een verzameling tekstpagina’s, quizzen, kennisclipfilmpjes etc. Om met de eerste module te kunnen starten, moeten studenten eerst verplicht een vragenlijst over hun blended learning verwachtingen invullen. Als ze dat niet doen dan krijgen ze geen toegang tot de eerste module. Dat kun je in Canvas heel makkelijk instellen via ‘requirements’.

41% zegt hoorcolleges niet voor te bereiden
Vol spanning kijk ik naar de antwoorden. 41% zegt hoorcolleges niet voor te bereiden, slechts 33% geeft aan goed te kunnen plannen en zo’n 20% geeft aan eigenlijk een voorkeur voor enkel face-to-face onderwijs te hebben.’

‘Wat kan of moet ik met deze gegevens? En wat biedt Canvas mij hierin ter ondersteuning?

Ik kies voor actief benaderen
Het is even zoeken naar de juiste balans. Ga ik studenten elke week via Canvas een bericht sturen? Of laat ik het in week 1 even gaan? Ik heb ‘maar’ 8 weken en als ik in week 1 al van mijn plan afwijk, ‘mislukt’ wellicht de hele opzet. Ik kies ervoor mijn studenten actief te benaderen. Ik stuur ze een bericht dat ze in Canvas ontvangen met daarin nog even op een rijtje wat ik komende week van ze verwacht en wanneer het af moet. In ‘setting preferences’ kunnen ze zelf aangeven of de berichten die ik ze via Canvas stuur ook op hun UvA-mail willen ontvangen.

Direct na mijn bericht zie ik studenten online komen Direct na het versturen van mijnbericht zie ik studenten online komen. Dat stemt positief. De eerste formatieve toetsen worden ook gemaakt. Ai. Geen beste resultaten. Waren mijn teksten en kennisclips niet voldoende? Of hebben ze zich er makkelijk vanaf gemaakt? Weer die twijfel.

Studenten zijn toch voorbereid
Het eerste responsiecollege. Een klein juichmoment. Flink wat pageviews zie ik via de statistieken. Iedereen heeft de quizzen gemaakt. Oké, de een fanatieker dan de ander, maar toch. De studenten hebben zich voorbereid. Kortom: ook die 41% die zegt hoorcolleges niet voor te bereiden is toch overstag gegaan.

Relatie tussen tijd online en cijfer
Ik ben (voorzichtig) positief. De eerste summatieve toets is beter gemaakt dan vorig jaar. Ook is er een duidelijke relatie tussen de tijd die studenten online waren en hun cijfer. Via Canvas kun je selecteren dat je alleen die studenten een bericht stuurt die een onvoldoende hadden. Ik stuur ze een aanmoedingsmail en probeer zo juist hen te motiveren voor week 2. Ik hoop nu dat er een groepsproces op gang komt waarbij duidelijk wordt dat een goede voorbereiding echt loont. Ondertussen monitor ik de statistieken bijna dwangmatig. De start is gemaakt, de eerste hobbel genomen. Op naar week 2.