Onderwijstechnologie/Klastechnologie/Digitaal toetsen

Inleiding

Onder toetsen wordt vaak verstaan het systematisch verzamelen van informatie over iemands kennis, vaardigheden, inzicht en/of attitude, competentieniveau en het geven van een oordeel daarover. Bij het toetsen kan het gaan om het kunnen reproduceren van kennis, maar ook toepassen van kennis, vaardigheden tonen, problemen oplossen of het meten van attitudes. Dit lijkt voor veel leerkrachten misschien moeilijk te verwezenlijken binnen een klassieke klasomgeving. ICT kan hierbij helpen.

Toetsvormen

Bij toetsing wordt een onderscheid gemaakt tussen formatieve en summatieve toetsing. Formatieve toetsen kunnen worden gebruikt om leerlingen kennis te laten opdoen of te laten toepassen. Zij maken integraal onderdeel uit van het leerproces en hebben geen directe consequenties voor de eindbeoordeling. Doel van dit type toetsen is te diagnosticeren welke kennis of toepassing van kennis nog ontbreekt en de leerling dus nog moet verwerven. Bij formatieve toetsen worden vaak toetsomschrijvingen gebruikt als instaptoetsen, diagnostische toetsen, voorkennistoetsen, zelftoetsen. Belangrijkste doelen van formatieve toetsen zijn meten en leren.

Aan de resultaten van summatieve toetsen zijn consequenties verbonden, meestal in de vorm van een cijfer. Het afnemen van deze toetsen vindt plaats onder gecontroleerde condities. Summatieve toetsen moeten voldoen aan hoge eisen van betrouwbaarheid en validiteit. Voorbeelden van summatieve toetsen zijn opdrachten, overhoringen, proefwerken, tentamens, (praktijk)examens. Het belangrijkste doel van summatieve toetsen is meten.

Fase Onderwijsproces	Type Toetsing	Condities waaronder
Oriëntatiefase	Formatieve Toetsen	Niet-gecontroleerde Condities
Oefenfase	Formatieve Toetsen	Niet-gecontroleerde Condities
Certificeringsfase	Summatieve Toetsen	Gecontroleerde Condities

Instap- of voorkennistoetsen kunnen in een oriënteringsfase een belangrijke rol spelen bij het activeren van al bestaande kennis, het bewust maken van kennis en vaardigheden die nog aangeleerd moeten worden, het motiveren en kennisnemen van de leerstof. Instap- of voorkennistoetsen geven de docent een goed overzicht van kennis en vaardigheden die leerlingen nog niet beheersen. Dit inzicht kan het leerproces optimaliseren.

Bij formatieve toetsen is het van belang dat de leerling gemotiveerd is: dat geeft immers een zo optimaal mogelijke meting van wat de leerling al weet. Door het gebruik van digitale toetsen kunnen deze toetsen aantrekkelijk en motiverend aan de leerling gepresenteerd worden.

Hoe werkt het?

De computer kan in de verschillende fasen van het toetsproces een belangrijk hulpmiddel zijn. Doordat de computer bij uitstek geschikt is om toetsvragen digitaal te verwerken kan het ontwikkelen systematischer plaatsvinden door vele mogelijkheden voor opslaan, delen en bewerken van gegevens. Studenten kunnen via de computer antwoorden geven en de computer kan dat direct ‘nakijken’ door het bepalen van scores en geven van feedback. Zowel studenten als docenten ontvangen zo direct gegevens ten aanzien van beheersing van de stof, de kwaliteit van de toets of inzet van de student. Toetsafname kan zowel thuis in het kader van bijvoorbeeld oefentoetsen of diagnostische toetsen plaatsvinden (formatief), maar ook onder gecontroleerde condities die voor tentaminering nodig zijn (summatief).

Onder digitaal toetsen worden over het algemeen toetsen verstaan die via het beeldscherm worden afgenomen. De computer ontvangt antwoorden, verwerkt deze en geeft feedback. Veel gebruikte begrippen zijn Computer Based Testing (CBT) of Computer Assisted Assessment (CAA).

Digitale toetsprogramma’s zijn de laatste jaren sterk verbeterd en bieden een groot aantal vraagtypen aan. Naast de welbekende multiple-choice vragen is het ook mogelijk om vraagtypen te gebruiken zoals matching-vraagtypen, drag-and-drop vraagtypen, numerieke vraagtypen, interactieve vraagtypen e.d.. Bovendien biedt digitaal toetsen de mogelijkheid om bewegend beeld, geluid of bijv. simulaties te gebruiken.

Vrijwel alle digitale toetsprogramma’s zijn als volgt opgebouwd: 1. Een module om vragen te ontwerpen (docent) 2. Een module om toetsen af te nemen (leerling) 3. Een module om toetsresultaten te analyseren (docent)

Belangrijk is dat de verschillende rollen in een toetsprogramma (h)erkend worden. Naast docent en leerling kunnen dat ook de rollen van mede-lezer (controle toetsvragen), lid van de examencommissie (vast stellen welke examen vragen gebruikt mogen worden), corrector (corrigeren van open vragen) of beoordelaar zijn. Vaak hebben moderne toetsprogramma's ook de mogelijkheid om een toetsmatrijs in te zetten. Dit geeft naarmate de itembank groter is meer mogelijkheden voor het maken van verschillende (random) versies van een toets.

Een de andere kant is een belangrijke vorm van digitaal toetsen die waarbij de studenten hun beheersing van beroepssoftware moeten aantonen door er daadwerkelijk problemen mee op te lossen. In een beroepsomgeving of wetenschappelijke omgeving gaat dit vaak over de beheersing van engineering software of professionele databases of SPSS of wiskundige software. Van belang daarbij is dat studenten in deze situaties in gecontroleerde en een in tijd beperkte situatie aantonen de vaardigheid te beheersen als het summatieve toetsing betreft.

Moderne digitale nakijkgereedschappen maken het mogelijk om deze rijkere responsen efficiënter te beoordelen en van feedback te voorzien. Ingeleverde responsen (teksten, documenten) kunnen eenvoudig verspreid worden over verschillende beoordelaars, ingebouwde scoring rubrics en feedback verzamelingen kunnen gebruikt worden om deze responsen te scoren en aan de student te retourneren.

Voor- en nadelen van digitaal toetsen

Voordelen

• Het digitaal toetsen is duurzaam. De docenten hoeven hierdoor niet veel papierwerk te printen.
• De studenten kunnen direct een beoordeling en automatisch feedback over hun toets verkrijgen.
• De toetsen kunnen automatisch nagekeken worden.
• Uitgeverijen bieden meer en meer kant-en-klare vragenbanken en afnamemogelijkheden aan.
• Er kan multimedia in de toetsen verwerkt worden: simulaties, video, geluid. Dat zou in een klassieke leeromgeving ook mogelijk zijn, maar veel ingewikkelder omdat deze media klassikaal gebruikt dient te worden. Bij een digitale toets kan elke student op zijn eigen tempo de aangebrachte media onderzoeken.
• Door gebruik van multimedia in een toets kan men directer meten of de student weet wat hij of zij moet weten.
• Er is een mogelijkheid om hints, tips of verdiepende vragen aan te bieden.
• Er kan een databank met mogelijke toetsvragen opgesteld worden, waardoor toetsen automatisch gegenereerd kunnen worden en dus ook sneller opgesteld zijn. Het gevaar bestaat er echter wel in dat de moeilijkheidsgraad van de toetsen verschilt.
• De vragen van een digitale toets kunnen voor elke student in een andere volgorde gezet worden zodat frauderen (afkijken) bemoeilijkt wordt.
• Naast de vragen kunnen de antwoorden ook in een willekeurige volgorde aangeboden worden.
• Deze databank kan gedeeld worden met collega’s.
• Uit die databank kunnen oefentoetsen of diagnostische toetsen gegenereerd worden, mogelijk met meerdere antwoordmogelijkheden. Zo kunnen de leerlingen vertrouwd raken met de vraagstelling en het medium. Ze kunnen deze summatieve of oefentoetsen maken waar en wanneer het hen het beste uitkomt.
• De docent kan makkelijker de betrouwbaarheid en kwaliteit van zijn toets evalueren en analyseren.
• Wanneer toetsen via Internet aangeboden worden kunnen gebruikers tijd- en plaatsonafhankelijk toetsen maken.
• Als gebruik gemaakt wordt van Item Response Theorie, dan kunnen toetsen aangeboden worden waarbij met minder toetsvragen betrouwbaarder het beheersingsniveau van studenten kan worden bepaald. Voorbeelden van dergelijke toetsen zijn de Rekentuin en de Taalzee.

Nadelen

• Het identificatieprobleem: is de persoon die claimt de toets gemaakt te hebben, wel degelijk wie hij beweert te zijn? Dit is op te lossen door gebruik te maken van Toetslocaties met gecertificeerde toezichthouders.
• Het is moeilijker om te checken of studenten niet samenwerken bij afstandstoetsen, maar er komen steeds meer systemen (vb ProctorU) en diensten op de markt die hierop inspelen.
• Bij open vragen of essayvragen is betrouwbare correctie door het programma zelf moeilijk.
• De cesuur moet in sommige gevallen op voorhand worden vastgesteld terwijl na analyse kan blijken dat de cesuur of vragen moeten worden aangepast.

• Voor de leerlingen vraagt het enige aanpassing en oefening om een digitale test af te nemen. Zij moeten over voldoende ICT-kennis beschikken en het digitaal toetsen moet regelmatig "geoefend" worden.
• Ook de leerkracht moet over voldoende ICT-kennis beschikken om een adequate digitale toets aan te maken.
• De aanmaak en aanpassing van een databank kost veel tijd. Zeker omdat klassieke toetsvragen niet altijd zo maar kunnen overgebracht worden.
• De databank moet autonoom opgeslagen worden en zo veel mogelijk losstaan van de gebruikte software. Zo kan men, indien er een probleem is met bepaalde software, de databank gewoon overbrengen naar een ander programma.
• Het systeem moet afdoende beveiligd zijn tegen misbruik.
• Net zoals het voor de leraar mogelijk is om automatisch na te kijken, is het voor de leerling mogelijk om - met de juiste programma's (b.v. via een usb-stick, die trouwens ook zonder een 'installatie' en 'beheerdersrechten' gebruikt kunnen worden) - antwoorden door het programma zelf te laten invullen en deze uit te wisselen.
• Indien er multimedia gebruikt wordt, moet de aanwezige infrastructuur krachtig genoeg zijn.
• Niet alle digitale evaluatieprogrammatuur biedt alle soorten vragen aan.
• De ruimte waarin de digitale toetsen doorgaan moet zo ingericht zijn dat de leerlingen elkaars beeldscherm niet kunnen lezen.

Past digitaal toetsen in de onderwijsvisie?

Er zijn, zoals hierboven is weergegeven verschillende randvoorwaarden om aan digitaal toetsen te beginnen.

• Past de gekozen software bij de evaluatiemethode?
  • Passen de aangeboden vraagvormen bij wat er getest wordt?
  • Op welke manier wordt er gequoteerd?
  • Kunnen de resultaten van een toets geanalyseerd worden?
  • Is er een mogelijkheid tot zelfevalutie?
  • Kan de docent feedback bieden?
• Zijn zowel leerkrachten als studenten voldoende geïnformeerd?
  • Kan de docent de mogelijkheden van het programma volledig benutten?
  • Is het programma gebruiksvriendelijk?
  • Kan de student adequaat met het programma werken?
• Is de infrastructuur aangepast?
  • Is er een voldoende krachtig netwerk beschikbaar?
  • Is het netwerk afdoende beveiligd?
  • Zijn er genoeg computers beschikbaar?
  • Is het lokaal waarin de computers zich bevinden regelmatig beschikbaar?
  • Is er mogelijk een budget uitgetrokken?
  • Zijn toezichthouders geregeld?
  • Zijn de toezichthouders geschoold op digitale toetsafname?

Vragenbank

Een vragenbank, ook wel itembank genoemd is een middel om toetsvragen te kunnen opslaan en hergebruiken. Bij het ontwerpen van een databank moet er bovenal op gelet worden dat er een duidelijke en consistente structuur aanwezig is. Deze wordt meestal weergegeven door een boomstructuur. Per vak kunnen er verschillende onderwerpen onderscheiden worden en bij die onderwerpen horen vanzelfsprekend vragen. Het is interessant om de vragen een bepaalde moeilijkheidsgraad mee te geven. Zo vermijdt men dat er te makkelijke of te moeilijke toetsen gegenereerd worden. Belangrijk is voor officiele examens (summatieve toetsing) dat de oude versie van het examen bewaard blijft. Daarnaast mogen tussentijdse wijzigingen in de vragenbank niet leiden tot foutmeldingen in een klaarstaand examen. Het is ook mogelijk vragen te structureren naargelang de soort: kennis-, inzicht-, denk- of toepassingsvragen zijn maar enkele mogelijkheden. Ook de vraagvormen kunnen onderscheiden worden, daarover hieronder meer.

Vraagvormen

Hieronder zijn een aantal vraagvormen weergegeven die uitstekend geschikt zijn om digitaal te testen:

• Multiple choice met een juiste antwoord.
• Multiple select met meerdere juiste antwoorden
• Juist/onjuist vragen
• Rangschikkingsvragen
• Nummerieke vragen, waarbij het oplossingsproces van minder belang is.
• Invulvragen
• Aanwijsvragen, waar een zogenaamde ‘‘hotspot’’ gevonden moet worden. Men dient er hier wel op te letten dat de ‘’hotspot’’ voldoende groot is zodat er niet aan ‘’pixelhunting’’ gedaan moet worden.
• Combineer vragen, waarbij men de begrippen die samenhoren uit verschillende kolommen moet zoeken. Bijvoorbeeld uitvinders en hun uitvindingen.

Software

Voor digitaal toetsen zijn drie typen programma’s beschikbaar: 1. Educatieve programma’s met toetsmogelijkheden, resultaatopslag en analyse. 2. Toetsprogramma’s 3. Elektronische leeromgevingen met een toetsmodule Daarnaast zijn er programma's die de gehele examenlogistiek faciliteren, van inschrijving tot het versturen van de examenuitslag aan de kandidaat.

Verder kunnen we ook nog een onderscheid maken tussen commerciële en niet-commerciële programma’s. Hieronder zijn een paar programma’s weergegeven met een kort woordje uitleg.

Commercieel

• NetDimensions Exams The Courseware Company levert een online toets- en examenportal.
• Nyink ontwikkelt flexibele scheidingswanden die een computerlokaal in een handomdraai kan veranderen in een digitaal-toetslokaal. Deze scheidingswanden kunnen schadevrij aan bestaand meubilair bevestigd worden en voorkomen dat leerlingen bij elkaar kunnen afkijken.
• Teletoets: Andriessen levert met Teletoets een complete webbased oplossing voor digitaal/online toetsing. TeleToets is Nederlandstalig of Engelstalig naar keuze, gebruikersvriendelijk en flexibel in te richten volgens de gewenste examen processen. De gehele examenlogistiek wordt in TeleToets meegenomen. Bovendien beschikt Andriessen over eigen toetslocaties waar examens onder toezicht afgenomen kunnen worden. Voor meer informatie over de toetslocaties van Andriessen klik hier.
• Surpass: Surpass is een flexibele toets en examenplatform welke uitermate geschikt is voor hoge aantallen gelijktijdige examens. Meer dan 120 vraagsoorten worden ondersteund. Surpass ondersteunt ook afname op papier.
• It's learning: In deze elektronische leeromgeving kunnen 10 soorten toetsen gemaakt worden die ook gecategoriseerd kunen worden zodat een database kan worden aangelegd. Instructie is in meerdere talen mogelijk.
• Questionmark Perception: Questionmark Perception is een krachtig toetsservicesysteem voor het maken, plannen, leveren, beheren en rapporteren van enquêtes, toetsen, quizzen en examens. Dit toetsservicesysteem heeft wereldwijd meer dan vier miljoen deelnemers!
• Respondus: Hiermee kunnen uitgebreide toetsen gemaakt worden op leerplatformen zoals Blackboard. Er zijn veel verschillende vraagsoorten mogelijk.
• Egel: Met deze software wordt meteen een vraagbank opgebouwd. Het genereren van goede toetsen volgens criteria (vb. geen vragen uit vorige toets, niet meer dan drie multimediavragen,...) wordt makkelijker.
• N@tschool: Het biedt veel vraagsoorten aan en de software is verkrijgbaar in het Nederlands.
• Blackboard Assessment: Het Blackboard proprietary leerplatform heeft binnen de eigen leeromgeving uitgebreide mogelijkheden om vragenbanken aan te leggen, om deze zowel formatief als summatief aan te bieden en een hele set van gespecialiseerde toetsvraagvormen. Blackboard wordt in het hoger onderwijs gebruikt.
• WinToets: WinToets is een programma speciaal ontwikkeld om te toetsen en te trainen. Het biedt een uitgebreide serie vraagvarianten en verwerkingen van toetsen.
• Smartschool: Belgische software die een volledige integratie heeft met WinToets. Resultaten kunnen automatisch worden weggeschreven in een puntenboekje dat de basis vormt voor het schoolrapport. Smartschool wordt in Vlaanderen door 80% van de scholen gebruikt. Er bestaat een speciale versie van WinToets voor Smartschool.
• TestVision: TestVision is een gebruiksvriendelijk professioneel toetsservicesysteem dat vanuit toetstechnische principes is ontwikkeld. TestVision werkt op basis van leerdoelen/toetstermen, een itembank en een toetsmatrijs, kent veel verschillende vraagvormen, kan gestratificeerd omgaan met at random trekkingen, maakt gebruik van gestandaardiseerde scoringsregels en heeft uitgebreide mogelijkheden voor statistische analyse van de toets en de vragen. Met TestVision ontwikkelde toetsen kunnen zowel webbased als op papier worden afgenomen.
• [1] : MapleTA is een pakket wat veel op QMP lijkt maar vragen kan generen: zowel in alfa als betavakken kun je 1 gesloten vraag maken die per student elke keer unieke combinaties van vragen maakt. Aanleren is eenvoudig via cursussen van Metha Kamminga die kant en klare toetsen heeft op http://www.methakamminga.nl/MapleTA/Toetsbanken.htm. Er is een Building Block voor inbouw in Blackboard http://www.methakamminga.nl en er zijn redafyietools om aanleveren eenvoudig te maken. Nieuwe versies maken secure examination mogelijk (proctoring)

Niet-commercieel

• Chamilo: Via een vijftal soorten vragen kan men toetsen genereren. Daarnaast is het ook mogelijk binnen dit programma multimedia aan te maken.
• Olat: Dit programma biedt vier verschillende vraagsoorten. Het is verkrijgbaar in verschillende talen, maar voorlopig nog niet in het Nederlands.
• Hotpotatoes: Voor het opstellen van oefentoetsen zijn verschillende vraagsoorten beschikbaar. Bij het afnemen van summatieve toetsen kan men enkel gebruik maken van multiple choice.
• Moodle: Het Moodle Open Source leerplatform heeft binnen haar leeromgeving uitgebreide mogelijkheden om vragenbanken aan te leggen, om deze zowel formatief als summatief aan te bieden en een hele set van gespecialiseerde toetsvraagvormen.
• Sakai Mneme: Het Sakai Open Source leerplatform heeft binnen haar leeromgeving op basis van Mneme uitgebreide mogelijkheden om vragenbanken aan te leggen, om deze zowel formatief als summatief aan te bieden en een hele set van gespecialiseerde toetsvraagvormen.
• Sakai SAMigo: Het Sakai Open Source leerplatform heeft binnen haar leeromgeving op basis van Samigo uitgebreide mogelijkheden om vragenbanken aan te leggen, om deze zowel formatief als summatief aan te bieden en een hele set van gespecialiseerde toetsvraagvormen.
• Instructure Canvas Assessment: Het Canvas Open Source leerplatform heeft binnen haar leeromgeving vrij goede mogelijkheden om vragenbanken aan te leggen, om deze zowel formatief als summatief aan te bieden en een redelijke set van toetsvraagvormen.
• Didactor: Naast testen met een achttal vraagsoorten, biedt Didactor ook diensten aan om het digitaal leren en testen tot een didactisch verantwoord proces te maken.

Bronnen

• Kennisnet
• Digitale Didactiek
• Blog online toetsing
• Taak studenten IDLO aan de VUB voor het vak Onderwijstechnologie over Digitale Leerplatformen.