Handboek Toetsplaza/Kwaliteit

Kwaliteit

Er zijn vele definities voor het begrip kwaliteit. Kwaliteit betekent in feite hoedanigheid, maar wordt vaak gebruikt om aan te duiden of iets of iemand aan zijn doel beantwoordt. Het betreft het leveren wat de klant eist en verwacht. Kwaliteitssystemen moeten de kwaliteit borgen van de producten en processen waarmee uiteindelijk aan de eisen en verwachtingen van de klant wordt voldaan.

Een kwaliteitssysteem bestaat grofweg uit een kwaliteitshandboek en de daarbij behorende werkwijze. In het handboek staat hoe wordt gewerkt. De daadwerkelijke werkwijze moet stemmen met dit handboek. Een kwaliteitssysteem houdt in: “Zeggen wat je doet” (handboek) en “Doen wat je zegt” (werkwijze). Voorgaande vertaald naar een kwaliteitshandboek voor Toetsplaza zijn de klanten de gebruikers, dat wil zeggen enerzijds de docenten die de producten (digitale assessments) binnen hun onderwijs inzet-ten, maar anderzijds ook de deelnemers.

De werkwijze (Doen wat je zegt) betreft het traject van de ontwikkeling van assessments tot en met de plaatsing van het assessment binnen Toetsplaza. Om de kwaliteit van dit proces te borgen is duidelij-ke taakafbakening van betrokkenen noodzakelijk. Voor de uitwerking van een kwaliteitssysteem voor Toetsplaza wordt onderstaand model als uitgangspunt genomen.

algemeen kwaliteitsdoel.

ALGEMEEN KWALITEITSDOEL Een bijdrage leveren aan de versterking van het onderwijsproces met aandacht voor de klanttevredenheid

Toelichting: Het vaststellen van de klanttevredenheid gebeurt op basis van een verzameling van diverse gegevens. De klanttevredenheid wordt in eerste instantie bepaald door de kwaliteit van het product (digitale as-sessments). Een kwalitatief hoogwaardig product kan echter alleen tot stand komen als hiervoor het ontwikkelproces goed is doorlopen.

Streven is om met behulp van de PDCA-cirkel zowel de kwaliteit van het product als van het ontwikkelproces te borgen dan wel te verbeteren. Voor het bereiken van het algemene kwaliteitsdoel zijn in dit handboek een zevental kwaliteitseisen uitgewerkt, te weten:

Elk digitaal assessment is een betrouwbaar, valide en transparant assessment.
Elke assessment is onderdeel van de themastructuur gekoppeld aan de competentiekwalificatie-structuren.
Alle assessments zijn ontwikkeld aan de hand van onderstaande richtlijnen.
Bij ontwikkeling van de assessments worden verschillende vraagvormen gehanteerd.
Alle betrokkenen zijn bekend met de inhoud van het kwaliteitshandboek en conformeren zich hieraan.
Alle assessments worden ontwikkeld en aangeleverd volgens de afgesproken procedures.
Alle betrokkenen zijn verantwoordelijk voor de borging en verbetering van de kwaliteit van Toetsplaza.

Het product

1 Elke assessment is een betrouwbaar valide en transparant assessment

In het kwaliteitsmodel staat het product, dat wil zeggen het digitale assessment centraal. Assessments spelen een belangrijke rol in het onderwijs. Op basis van de resultaten van assessments worden allerlei beslissingen genomen. Deze functie van assessments komt alleen tot zijn recht als de assessments aan bepaalde kwaliteitseisen voldoen. Hier ligt een grote verantwoordelijkheid voor de instellingen. Het is instellingafhankelijk op welke wijze en in welke mate aan deze kwaliteitseisen wordt voldaan. Belangrijke eisen zijn:

Betrouwbaarheid;

Een assessment wordt betrouwbaar genoemd als deze bij herhaalde afname onder dezelfde om-standigheden eenzelfde resultaat laat zien. Factoren zijn:

De opgaven moeten helder, kort en eenduidig zijn geformuleerd.
Het assessment in zijn geheel moet onderscheid maken tussen de ‘goede’ en ‘zwakke’ deel-nemers. De moeilijke opgaven moeten vooral door de ‘goede’ deelnemers correct beantwoord worden.
Aantal opgaven bij een assessment met weinig opgaven is de invloed van elke afzonderlijke opgave veel groter dan bij een assessment met veel opgaven.

Transparantie

Deelnemers zijn op de hoogte van de leerdoelen die het assessment beoogt te meten.
Deelnemers zijn op de hoogte van de vorm en de omvang van het assessment.
Deelnemers krijgen feedback over inhoud en resultaat van de assessment.

Het ontwikkelproces

Het aspect ontwikkelproces is in een drietal deelthema’s onder te verdelen, te weten:
- Inhoud (Kwaliteitsdoel 2)
- Constructie (Kwaliteitsdoel 3 & 4)
- Proces (Kwaliteits=doel 5 & 6)

2 Elke assessment is onderdeel van de themastructuur gekoppeld aan de competentiekwalificatiestructuren.

Thema's zijn opgebouwd op een logische wijze waarin de kerntaken en prestatieindicatoren terug te herleiden zijn. Daarnaast worden de niveaus van waaruit een thema is opgebouwd duidelijk gemaakt. Er worden diverse niveaus onderscheiden waarbij de vmbo en mbo niveaus voor die onderdelen waarbij ze gelijk zijn ook als gelijk worden beschouwd. Gebruikte terminologien zijn:

vmbo	mbo
basisberoeps (BB)	niveau 1
kaderberoeps (KB)	niveau 2
Gemengde leerweg (GL)	niveau 3
Theoretische leerweg (TL)	niveau 3
Havo	niveau 4

Omdat de structuren in het vmbo en mbo niet eenduidig zijn zal niet altijd rechtstreeks de kwalificatiestructuur terug te herkennen zijn in de opbouw van het thema. Ook de wisseling in kwalificatiedossiers zorgt ervoor dat voor de opbouw van een thema meer een logische themaopbouw zal kennen dan een kwalificatiedossier opbouw. Dat laat echter niet onverlet dat de themastructuur wel zodanig moet zijn opgebouwd dat de verschillende onderdelen terug te herleiden zijn.

Naast thema-structuren zal ook gebruik gemaakt worden methode-structuren. In dat geval zal een thema structuur worden ingericht naar de gebruikte methode. Echter ook dan zal de structuur terug te herleiden zijn naar de bijbehorende , onderliggende kwalificatiestructuur.

3 Alle assesments zijn ontwikkeld aan de hand van eenduidige en duidelijke richtlijnen.

Digitale formatieve assessments bestaan uit gesloten vragen. Het ontwikkelproces van digitale assessments wijkt niet af van de traditionele (niet-digitale) assessments. Het belangrijkste verschil tussen het ontwikkelen van digitale t.o.v. niet-digitale assessments is dat de keuze van vraagvormen uitgebreider is (zie bij kwaliteitseis 4). Het creëren van goede randvoorwaarden bij het afnemen van digitale assessments is essentieel (zie bijlage 1). Met deze randvoorwaarden wordt bij de ontwikkeling van assessments rekening gehouden. Uitgangspunt bij de constructie van assessments is dat deze zijn gebaseerd op informatieobjecten en werkwijzers, die gerelateerd zijn aan kerntaken, competenties CKS (competentiegerichte kwalificatie-structuur) en/of eindtermen van het examenprogramma’s vmbo.

Richtlijnen voor ontwikkeling zijn:

Toets in principe in één vraag één leerdoel.
De vraag moet niet anders meten dan het bij de vraag behorende leerdoel.
De alternatieven moeten helder en eenduidig zijn.
De afleiders moeten geloofwaardig zijn voor degenen die de stof onvoldoende hebben bestu-deerd.
De antwoordalternatieven mogen niet te veel verschillen in woordgebruik, omvang, lengte, e.d.
De bedoeling van de vraag wordt expliciet in de stam aangegeven.
Zowel de stam als de alternatieven zijn zo kort mogelijk geformuleerd.
Het getoetste leerdoel wordt niet verborgen onder een hoeveelheid irrelevante informatie in de stam.
Figuren moeten functioneel zijn: ze dragen bij tot het verhelderen van het probleem.
Een ontkennende zin wordt,, in de stam vermeden.
De alternatieven moeten grammaticaal in overeenstemming zijn met elkaar en met de stam
Bij het beoordelen van uitspraken op hun juistheid, moeten ze ondubbelzinnig juist of onjuist zijn.

(ontleend aan: Wijnen en Alberts, 1993)

In bijlage 2 is een controlelijst toegevoegd, bedoeld om afgerond conceptmateriaal aan een kritische proeve te onderwerpen.

4 Bij ontwikkeling van de assessments worden vraagvormen gehanteerd die passen bij de vraag

Uitgaande van voorgaande kwaliteitseisen en richtlijnen voor constructie van assessments zijn er binnen Toetsplaza een aantal specifieke vraagvormen. Voorbeelden zijn:

Multiple choice (Meerkeuze) = Slechts één antwoord mag worden gekozen
Multiple response (Meervoudig antwoord) = Er kunnen twee of meer antwoorden worden gekozen.
Matching (Combineren) = Onderdelen uit een keuzelijst worden gematcht.
Pull down (Selectie) = Uit een keuzelijst wordt het goede antwoord gekozen.
Select the Blanc (Tekstmatch) = Bij gaten in de tekst wordt het juiste antwoord gekozen uit een keuzelijst..
Ranking (Rangorde) = De mogelijkheden worden in de juiste volgorde geplaatst
Hot spot/drag en drop = Er moet op de juiste plaats in een afbeelding worden geklikt.
Numeric (Numeriek) = Er moet een getal worden ingetypt.
Matrix = Per keuze wordt één antwoord aangeklikt.
Invuloefening = Het juiste antwoord wordt ingevuld. Er zijn hierbij geen keuzemogelijkheden.

In bijlage 3 zijn specifieke aandachtspunten per vraagvorm beschreven.

Aandachtspunten zijn: • De assessments zijn geordend naar inhoudelijke thema’s of functie. • De assessments moeten dusdanig aantrekkelijk en interactief zijn, dat optimaal gebruik wordt gemaakt van de digitale leeromgeving. • Vragen in stelling-vorm worden omgezet in een meer interactief vraagtype. • Er zijn zowel toetsen voor het vmbo als mbo beschikbaar. • De feedback op een goed en fout antwoord moet duidelijk verschillen (zie bijlage 4) • De scores sluiten aan bij de landelijke afspraken (zie bijlage 5) die hierover zijn gemaakt.

Kwaliteitshandboek

5 Alle betrokkenen zijn bekend met de inhoud van het kwaliteitshandboek en conformeren zich hieraan

Binnen het ontwikkelproces voor het aanleveren van toetsen voor Toetsplaza zijn diverse personen c.q. groepen betrokken, te weten een projectleider, eindredactie (expertisegroep), redactie (buitenring) en auteurs (vakdocenten). Hierna wordt een omschrijving gegeven van de diverse taken (in willekeurige volgorde) van de betrokkenen.

Projectleider:

geeft leiding aan de expertisegroep en is daarmee het aanspreekpunt.
bepaalt samen met de eindredactie de invulling van de thema’s;
ontwikkelt samen met de eindredactie koers dan wel lange termijnplannen;
vertegenwoordigt Toetsplaza naar buiten, geeft voorlichting en stimuleert het gebruik van Toets-plaza;
kartrekker van het platform van QMP-coördinatoren;
stuurt samen met de (eind)redactie de ontwikkelaars aan;
motiveert en inspireert (eind)redacteuren door het aandragen van suggesties;
vervult een brugfunctie tussen de ontwikkelaars en de gebruikers van de toetsen;
verzamelt gebruikerservaringen;
bewaakt de kwaliteit van Toetplaza met behulp van de PDCA-cirkel.

Eindredactie (expertisegroep):

laatste die een item (toets) controleert alvorens deze binnen Toetsplaza wordt geplaatst;
denkt mee over de koers van Toetsplaza;
denkt mee over de invulling van thema’s en draagt hiervoor suggesties aan;
is vraagbaak voor redacteuren;
begeleidt redacteuren en geeft feedback op hun redactionele werk;
zorgt voor de ontsluiting van toets- en oefenmaterialen;
levert eventueel zelf een bijdrage aan het redigeren dan wel ontwikkelen van digitale toetsen;
levert als gebruiker zo mogelijk input voor de verzameling van gebruikerservaringen.

Redactie (buitenring):

ordent en structureert aangeleverde items (toetsen);
controleert items inhoudelijk, d.w.z. verbetert taal- en spelfouten en gaat na of de items juist, vol-ledig en relevant zijn;
bewerkt aangeleverde items, zodat ze geschikt worden voor plaatsing binnen Toetsplaza;
begeleidt auteurs (docenten) bij het samenstellen van een digitale toets;
overlegt met de eindredactie en projectleider;
ontwikkelt zelf digitale toetsen;
levert als gebruiker zo mogelijk input voor de verzameling van gebruikerservaringen.

Auteurs (vakdocenten):

is vakdocent binnen het groene onderwijs;
levert (op vrijwillige basis) digitale items (toetsen) aan;
maakt binnen het eigen onderwijs regelmatig gebruik van Toetsplaza;
levert als gebruiker input voor de verzameling van gebruikerservaringen.

6 Alle assessments worden ontwikkeld en aangeleverd volgens de afgesproken procedures

Om te bewerkstelligen dat alle betrokken hun taken op juiste wijze kunnen uitvoeren, zijn er binnen Toetsplaza afspraken gemaakt over werkwijzen en procedures. Het betreffen hier afspraken over het ontwikkelen van toetsen en over het daadwerkelijk plaatsen van de toets binnen Toetsplaza. Deze procedures zijn in tabelvorm stapsgewijs beschreven.