Gedrag studenten volgen voor verbetering

[Onderstaand artikel komt uit Surf Magazine. Hier kunt u een gratis abonnement op nemen.]

Online leeromgevingen registreren van alles over hun gebruikers. Het visualiseren van dergelijke gebruikersgegevens geeft inzicht in het leerproces. Learning analytics gaat een stap verder. Naast het identificeren van patronen uit verzamelde data gaat het daarbij ook om het voorspellen van prestaties en interventies. Dit effent het pad naar onderwijs en studiebegeleiding op maat.

In zeven pilotprojecten experimenteerden hogeronderwijsinstellingen in het kader van een SURF-innovatieregeling met learning analytics. Onderzocht werd hoe de analyse van data kan bijdragen aan het verhogen van studiesucces en studierendement. Een korte impressie van twee van de zeven pilots.

Early Warning System

Ellen Zillig-Straatman, applicatiebeheerder Blackboard bij de TU Delft en projectleider van het Delftse learning analytics project MAIS, legt uit: ‘Binnen Blackboard kunnen docenten werken met het Early Warning System, kortweg EWS. Een tool waarmee ze de activiteiten van hun studenten kunnen monitoren en hen feedback kunnen geven. Deze tool is standaard beschikbaar binnen Blackboard, wat geen additionele (geldelijke) investering verlangt. Door middel van Meten, Analyseren, Informeren en Sturen hebben we in het MAIS-project onderzocht of we met het EWS studenten tijdig kunnen bijsturen en zo uitstelgedrag kunnen aanpakken.’

Inhoudelijke feedback geven

Vier docenten die actief gebruik maken van Blackboard hebben een kwartaal gewerkt met het EWS. Daarmee kan een docent procesmatige feedback geven over het leergedrag van een student. De feedback wordt echter veel effectiever als een docent ook inhoudelijke feedback kan geven. Dat kan als een student de deadline bijvoorbeeld wel haalt, door feedback te geven op de ingeleverde opdracht. Of als een student de deadline niet haalt, door naast procesmatige feedback ook generieke inhoudelijke feedback te geven om het leergedrag bij te sturen. ‘Onze conclusie na de testfase is dat een vak aan bepaalde criteria moet voldoen, wil het EWS toegevoegde waarde hebben’, aldus Zillig-Straatman.

‘Het is met name handig bij vakken met grote groepen studenten en harde inlevermomenten voor diverse opdrachten. Studenten waren blij met de “ToDo module”, het overzicht van de inlevermomenten, en de directe feedback. Docenten van grotere groepen studenten vonden het prettig dat ze gedurende de cursus direct konden zien wat de studenten deden in Blackboard. Dat maakt het gemakkelijk om direct feedback te geven. Bij kleine groepen is er veel meer persoonlijk contact tussen docent en student en gaat veel via mondelinge communicatie.’

Positieve feedback blijkt overigens het beste te werken. Naar aanleiding van deze pilot heeft de TU Delft richtlijnen opgesteld om bij het EWS zoveel mogelijk positieve feedback te geven.

Door de ervaringen in de pilot gaat de TU Delft bij de uitrol van de tool alleen die docenten betrekken, die bij voorbaat kunnen inschatten dat het systeem daadwerkelijk toegevoegde waarde heeft. ‘De groep wordt dus aanzienlijk kleiner, dan we van te voren hadden gedacht’, verwacht Zillig-Straatman. ‘Of we met het EWS daadwerkelijk het uitstelgedrag aanpakken, kunnen we nog niet zeggen. Daarvoor is de pilot echt te klein en te kort geweest.’

Curriculum Mining

Het Eindhovense project Curriculum Mining beoogde de eerste stappen te zetten voor de ontwikkeling van een tool, die op basis van data vanuit studentenadministratie en studievoortgangsrapportages inzichtelijk maakt hoe studenten door hun opleiding heen gaan. Met behulp van procesminingtechnieken werd gekeken of er patronen konden worden gevonden in deze data.

Docent Informatiesystemen Mykola Pechenizkiy was verantwoordelijk voor de pilot. ‘De tendens naar flexibelere curricula met alle vrijheden van dien vraagt erom tijdig te kunnen waarschuwen als de resultaten achterblijven’, is de overtuiging van Pechenizkiy.

‘Curriculum mining geeft studenten vooral inzicht in de verhouding tussen persoonlijke resultaten en gemiddelden. Het laat daarmee zien hoe realistisch een persoonlijke onderwijsroute is. Naast de adviserende en waarschuwende rol naar studenten kan curriculum mining docenten helpen om te achterhalen waarop studenten vastlopen in het curriculum en daarop zaken aanpassen’, aldus Pechenizkiy.

Advies bij vakken volgen

Pechenizkiy verwacht dat er nog een lange weg te gaan is voordat curriculum mining bij de dagelijkse onderwijspraktijk hoort. Maar de positieve uitkomst van dit project is dat een hogeronderwijsinstelling een student kan adviseren welk vak hij of zij het best als volgend vak kan volgen.

Dit advies is gebaseerd op de gevonden datapatronen van eerder behaalde studieresultaten van de student zelf en van studenten met een soortgelijke volgorde van vakken. ‘We werken verder aan deze tool bij de Technische Universiteit Eindhoven omdat we geloven dat het analyseren van studiepaden en het geven van feedback aan studenten en docenten hierover kan bijdragen aan een meer succesvolle studieroute.’