Handboek Toetsplaza/Nieuwe items&toetsen
Richtlijnen bij het opzetten en vullen van Thema vragenbanken. Deze richtlijnen kun je ook goed gebruiken om een eigen vragenbank op te zetten.
Benaming en Structuur van de bank
Redactieleden maken de structuur van itembanken. Hieronder staan de afspraken die we gemaakt hebben om ervoor te zorgen dat de structuur binnen de servers overzichtelijk blijft. Een hoofdtopic kan alleen worden aangemaakt door de projectleider, Onder een hoofdtopic worden subtopics aangemaakt. Binnen de eigen omgeving van een instelling kan onder het hoofdtopic iedere instelling zijn eigen structuur bouwen. Het is echter handig om zo veel mogelijk de structuur te handhaven zoals hieronder beschreven staat. Dan houd je je eigen omgeving overzichtelijk. Hierop wordt geen controle uitgeoefend.
- Hoofdtopic wordt voluit geschreven, bijv.:
Thema PC |
---|
- Subtopics nummeren, bijv.:
- 01 Basisbegrippen van informatietechnologie
- 02 Gebruik van de computer en beheer van bestanden
● Bij het subtopic waar de vragen uitkomen, ook de topicbeschrijving invullen. Dat is hetgeen de leerling ziet bij de assessmentuitkomst. Moet dus een goede, duidelijke omschrijving zijn. Als het nodig is om de topicuitkomsten op een bepaalde volgorde te krijgen, moeten de beschrijving ook genummerd zijn (anders krijg je alfabetische volgorde). Topicbeschrijving kan hetzelfde zijn als topicnaam. Bijvoorbeeld:
Topicnaam: 1.1.4 Computer prestaties |
---|
- Wees consequent
- Houd waar nodig rekening met het ad random trekken van vragen bij het maken van assessments.
- Het kan nodig zijn om subsubtopics te maken per vraagtype.
- Het kan nodig zijn om subsubtopics te maken per soortgelijke vragen (waar er bijv. maar 1 van in de toets mag komen).
- Het kan nodig zijn om subsubtopics te maken per niveau.
De vragen
Wanneer je start met het maken van de vragen dan zijn er een aantal stappen die je moet doorlopen voordat je kunt beginnen met het maken van de vragen. Zet eerst de auteur goed, je weet dan welke auteur de vragen heeft gemaakt/geredigeerd. Dit instellen doe je bij “Auteur” (instellen onder Extra – Opties): Wanneer de vragen worden geredigeerd door het redactieteam dan wordt onder auteur ingevuld redactie gevolgd door het jaartal waarin de vragen worden geredigeerd. Redactie 20**
Coderingen Vragen Om vragen gemakkelijk op volgorde te zetten en om te kunnen zien waar welke vraag vandaan komt in een assesment is het belangrijk om een goede vraagcodering te hebben. De vraagcodering begint altijd met een verkorte benaming van het thema, gevolgd door subtopic en eindigt met een volgnummer en een korte term die iets zegt over de vraag. Het wordt afgeraden om het antwoord in de vraagcodering naar voren te laten komen.
T-Paard-beweging-11006 tolt t-pc-1.1.1-90002 betekenis PC |
---|
Benaming van afbeeldingen. Ook de afbeelding begint met de verkorte benaming van het Thema, gevolgd door subtopic.Deze waar nodig laten eindigen met een volgnummer (als er meerdere plaatjes van hetzelfde onderwerp zijn). Als bijv. een afbeelding eigenlijk te groot is, dan laat je de originele afbeeldingen intact. Je verkleint de afbeelding(bijvoorbeeld met irfanview) en slaat deze onder een andere naam op.
Originele: t-techniek-anemometer.jpg |
---|
meerkeuzevragen
afspraken rondom het maken van mc-vragen.
Bij vragen werken we met een tekst veld en een vragendeel. Op dit moment staat het tekstveld(plaatje)links en de vraag rechts daarvan. Indien er geen plaatje of tekst aanwezig is dan .( wordt nog ingevuld)..
Bij meerkeuzevragen wordt aan iedere choice een outcome gekoppeld. Dit is nodig om een analyse te kunnen maken. Standaard wordt dit op de goede manier door QMP gemaakt. Standaard werkt QMP met id 0 voor de eerste choice/outcome, 1. voor de tweede choice/outcome. etc.
Maken van een vraag: Tussen de inleiding en de vraag hoort een lege regel. Om de lege regel tussen de inleidende tekst en de vraag te krijgen geef je [2x shift-ENTER]. Het verdient de voorkeur om in verschillende tekstvelden te werken. Tussen de vraag en de choices zet qmp zelf een lege regel. Niet zelf ook nog een [ENTER] geven.
Redigeren vragen
Bij het redigeren is het belangrijk om de volgende onderdelen van een vraag te controleren.
- Juiste vraagstelling (stam van de vraag)
- Geen overbodige zaken, goede leesbaarheid
- Goede vraaglayout
- Lege regels waar nodig (leesbaarheid)
- Ruimte tussen afbeelding en tekst
- afleiders kort en duidelijk houden
- waar nodig vetgedrukte woorden om ze 'uit' de tekst te lichten
- afleiders shuffelen, behalve bij getallen en andere logische volgorde, zoals
A I is juist |
---|
10 TIPS voor het construeren van MC vragen:
- Tip I: Doe niet met meer als met minder hetzelfde resultaat bereikt kan worden. Doe dus niet ingewikkelder dan nodig is.
- Tip II: De energie moet zich richten op de vraagbeantwoording, niet op verklaren van onduidelijk taalgebruik in de vraagformulering of extra tekstuele uitleg.
- Tip III: Zorg dat binnen de toets steeds bij hetzelfde vraagtype voor dezelfde eenduidige en herkenbare formulering is gekozen
(b.v. bij de alternatieven). Zorg dat alle alternatieven even aannemelijk zijn. Sluiten alle alternatieven grammaticaal aan bij de stam van de vraag zelf?
- Tip IV: Verwijs nooit naar een antwoord of gegeven uit een vorige vraag. Men moet de items onafhankelijk van elkaar kunnen beantwoorden.
- Tip V: Gebruik geen (nergens) dubbele ontkenningen.
- Tip VI: Gebruik alternatieven die “even lang” zijn.
- Tip VII: Maak onderscheid tussen Gegevens, Beweringen en Stellingen en geef dit aan. Zorg dat twee stellingen die behoren tot dezelfde vraag hetzelfde kennisdomein afdekken.
- Tip VIII: Breng afwisseling aan door diverse vraagtypen te gebruiken.
- Tip IX: Maak onderscheid in de cognitieve niveaus van de vragen.
- Tip X: Vermijd woordjes zoals : soms, vaak, af en toe, meestal, ooit. Iedereen verstaat hieronder weer iets anders.
uit: Kwaliteitsverbetering met MC toetsvragen Oktober 2002 Warnar Moll Hogeschool van Amsterdam, Afdeling Onderwijsresearch & Ontwikkeling (OrO)
Feedback
De feedback voor een goed beantwoord en foutief beantwoord item moeten verschillen, dus niet bij zowel goed gescoord als fout gescoord antwoord de volgende feedback:
“Het goede antwoord is een xxxxxx”
Geef bij het maken van de vraag dus duidelijk twee verschillende feedbacks voor zowel het goede als het foute antwoord.
goed antwoord | fout antwoord |
---|---|
“Goed.” of “Goed. Deze xxxxx is inderdaad yyyyy.” |
“Fout. Deze xxxxx heeft als betekenis yyyyy.” of “Onjuist beantwoord. De naam van dit xxxxx is yyyyy.” of |
Bij de 'goede' feedback kan het dus volstaan met alleen “Goed” of “Goed” met een uitgebreidere feedback. Bij de 'foute' feedback wordt dus vaak ook aangegeven wat het goede antwoord is. Soms is het vanuit oogpunt van het leereffect niet verstandig om het goede antwoord te geven. In plaats daarvan wordt verwezen naar plaatsen waar de deelnemer alsnog het goede antwoord kan vinden.
Houdt voor de leesbaarheid een lege regel aan tussen goed en fout en de rest van de feedback. Dit verhoogt de leesbaarheid. Het is ook mogelijk om een afbeelding van het juiste antwoord toe te voegen (instellen als HTML). Bijvoorbeeld:
“De juiste combinaties zijn:
|
---|
laat de volgende feedback zien:
De juiste combinaties zijn:
Score afspraken
Uitgangspunten: Omdat we met een gezamenlijke opgavenbank werken moeten hier landelijke afspraken over worden gemaakt. De cesuur is uiteindelijk bepalend voor het resultaat van een toets. De cesuur kan door de afnemende partij zelf worden ingesteld. De wegingsfactor die aan een eindterm is gekoppeld bepaalt eigenlijk het aantal te behalen punten.
Aannames: het juiste vraagtype is gebruikt om een bepaalde eindterm te toetsen gebruik van het juiste vraagtype krijgt veel aandacht tijdens het begeleidingstraject aantal te behalen punten wordt bepaald door de denkhandeling die verricht moet worden, het aantal keuzes en de grootte van de eigen inbreng
Opmerkingen per vraagtype:
Vraagtype | Soort | Opmerkingen | aantal punten |
---|---|---|---|
Opstel vraag (essay) | open | Dit is een open vraag | 10 |
Tekst-match | open | bepalend is hier het antwoordmodel hoe ver mag een leerling gaan in het fout typen (spellen) Advies: ga daar niet te ver in (afhankelijk van doelgroep). In principe moet het uitgangspunt hier zijn exacte weergave | 10 |
Invulvraag (Fill in Blanks) | Open | aantal keuzemogelijkheden bepaalt de score | 10 -12 |
Selectie vraag(pulldown-list) | gesloten | aantal keuzemogelijkheden bepaalt de score | 10 -12 |
Matching | gesloten | aantal keuzemogelijkheden bepaalt de score. Zoveel mogelijk vraag in zijn geheel beoordelen. | 10-12 |
Volgordevraag (Ranking) | gesloten | aantal keuzemogelijkheden bepaalt de score. Zoveel mogelijk vraag in zijn geheel beoordelen. | |
Hot Spot vraag | gesloten | 10 | |
Drag and drop | gesloten | aantal keuzemogelijkheden bepaalt de score | 10 -12 |
Matrix | gesloten | Geen maximum aan het aantal opties Score per goede optie is afhankelijk van het aantal opt | 10 -12 |
Meerkeuzevraag (Multiple choice) | gesloten | afhankelijk van het aantal keuze zo veel mogelijk 2 of 3 afleiders gebruiken (maximaal 4 alternatieven) | 10 |
Meervoudig antwoord vraag(Multiple response) | gesloten | in de vraag altijd opnemen hoeveel goede antwoorden er gekozen moeten worden aantal keuzemogelijkheden bepaalt de score | 10-12 |
Numerieke vraag | open | in tekst € opnemen Aangeven of bedrag met punt of comma weergegeven moet worden (wellicht wordt beide geaccepteerd) | 10 |
Waar/Niet waar Ja/ Nee | Gesloten | Zo min mogelijk gebruiken en verwerken in een matrixvraag | 5 |
Assessments
Binnen questionmark worden drie soorten assessments onderscheiden.
- diagnostisch, aangegeven met “(D)” aan eind van assessmentnaam
- formeel, aangegeven met “(F)” aan eind van assessmentnaam
- controle en/of inzage, aangegeven met “(CP)” aan eind van assessmentnaam
Begin eerst weer met de naam van de auteur goed te zetten. Vervolgens start je met de naam van het assessment. Iedere naam begint met de verkorte naam van het thema en de naam van de toets. Vaak is dit de naam van een subtopic. Achter de naam komt het soort assessment tussen haakjes hieronder de tabel
hierboven de tabel
T-Boomverzorging 01 Assortiment blok 1 (D) |
---|
Bij “T-BIO-01-01 Celdeling 2B (D)” komen de vragen uit het subtopic “2B” binnen de structuur:
- 01 Anatomie en fysiologie mens
- 01 Cellen, weefsels, erfelijkheid
- 03 Celdeling: mitose en meiose
- 2B
- 03 Celdeling: mitose en meiose
- 01 Cellen, weefsels, erfelijkheid
Het voordeel van deze manier van naamgeving is dat de assessments overzichtelijk blijven en daarom gemakkelijk terug te vinden zijn. Met name bij veel subtopics is dit belangrijk.
Opbouw van het assessment
● Controleblok
Assessment Settings (Control Block) | formatief diagnostisch | formeel examen | inzage assessment | |
---|---|---|---|---|
Assessment | Mogelijke instellingen | |||
Assessment name | Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (D) |
Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (F) |
Met codering, bijv.: T-GR-02-08-20 Onderhoud gras N3 (I) | |
Assessment description | Min of meer gelijk aan name, Leerlingvriendelijk, gelijk aan vraagbloklabel, bijv.: Onderhoud gras N3 |
Min of meer gelijk aan name, Leerlingvriendelijk, gelijk aan vraagbloklabel, bijv.: Onderhoud gras N3 |
gelijk aan assessmentname | |
Assessment Type | Test | exam | Unset | |
Anonymus results | -- | -- | -- | |
Record results in database | V | V | V | |
Save what information | Full data | Full data | Summary data | |
Assessment time limit | -- | -- | -- | |
Template file for assessment | T-xxxx | T-xxxx | AOC_redactie_xxx | |
Save as you go | Off | Off | Off | |
Security | ||||
Requires monitoring | -- | Afhankelijk van | -- | |
Allow run from integration | V | -- | ||
Require Questionmark Secure | -- | Afhankelijk van | -- | |
Allow open access to assessment | V | -- | -- | |
Set password to control scheduling | In beginsel NOOIT gebruiken | In beginsel NOOIT gebruiken | In beginsel NOOIT gebruiken |
- ○ Tabblad Controle: Resultaten opslaan in database en Volledige gegevens. Gebruik het voor sjabloonbestand: het Thema sjabloon per thema ; als deze er nog niet is, vragen bij de projectleider
- ○ Tabblad Feedback: Einde van assessment en Alles
- ○ Tabblad Beveiliging: niets instellen
- ○ Tabblad Gerapporteerde topics: normaal gesproken niets veranderen
● Vragenblok
- ○ Tabblad Algemeen: bij Bloknaam de naam van de toets (de leerling ziet deze naam in de kop van de toets), met hoofdletter laten beginnen, bijv.: “Celdeling” voor bovenstaand voorbeeld van assessment “T-BIO-01-01 Celdeling 2B (D)” Vragen in blok mengen
- ○Tabblad Inleidende boodschap niet invullen
● Assessmentuitkomst
- ○ Tabblad Uitkomst: Achter 'Resultaten met label' dezelfde naam invullen als onder vragenblok, dus bv. “Celdeling” Scorebereik, bij gebruik van 1 assessmentuitkomst loopt deze van 0 tot 100 'Totale score op eindpagina weergegeven' aanvinken
- ○ Eventueel meerdere assessmentuitkomsten toevoegen en instellen.
- (Bij een samengestelde toets, d.w.z. vragen komen uit verschillende topics, kan er voor gekozen worden om de topicuitkomsten te laten zien per topic. Dan moeten 'Topicfeedback op eindpagina weergeven' en Topicscores/uitkomsten op eindpagina weergegeven' worden aangevinkt. Gevolg is dat de Topicbeschrijvingen getoond worden met hun score (zie bij Benaming en Structuur van de Bank). Het kan in dit geval nodig zijn om bij Controleblok de Gerapporteerde topics iets fijner in te stellen.)
- ○ Tabblad Voorwaarden: niets instellen
- ○ Tabblad Feedback: zie hiernaast voor de juiste tekst
- ○ Tabblad Vertakkingen: niets invullen
Opbouw van het assessment bij formele toets
De opbouw van een formele toets is grotendeels gelijk aan een diagnostische toets. Let op de volgende verschillen:
- meerdere assessmentuitkomsten, d.w.z. meerdere scorebereiken (onvoldoende en voldoende), instelling afhankelijk van cesuur.
- assessmentfeedback aanpassen aan assessmentuitkomst
Opbouw van het assessment bij controle/inzage toets
De opbouw van een controle/inzage toets is grotendeels gelijk aan een diagnostische toets. Let op de volgende verschillen:
- Controleblok
- ○ Controle: Resultaten opslaan in database NIET aanvinken
- ○ Sjabloonbestand: AOC_redactie_ave.template gebruiken
- Vragenblok
- ○ Vragen NIET in blok mengen
- ○ naam is niet belangrijk
- Assessmentuitkomst
- ○ niet belangrijk
MBO examens
Het is binnen toetsplaza naast de Creta toetsen ook andere officiele examens af te nemen. Voor gewasbescherming, heftruckrijden en trekkerrijden staan er examens klaar.
Je kunt ze gebruiken via: www.toetsplaza.nl/mboexamens
Afname van een theorie trekkerrijbewijs examen.
Voor het afnemen van een toets kan de leerling nadat hij voor trekkerrijden heeft gekozen het juiste trekkerexamen aanklikken. Dit examen moet wel van te voren worden klaargezet. De leerling moet dan inloggen met zijn inlogaccount. Nadat de leerling heeft ingelogd volgt nog een tweede inlogscherm. Hierbij moet de beheerder inloggen. Dit is een extra beveiliging.
Rapportage van een theorie trekkerrijbewijs examen.
Op toetsplaza ziet u onder Toetsen een groene balk Beschrijving staan. Wanneer u daar op klikt ziet u de diverse links naar de rapportage van de verschillende trekkerexamens. Hierbij logt u in met dezelfde beheerdersaccount die u gebruikt als beheerder. NA het inloggen kunt u de rapportages opvragen. Eventueel is het mogelijk om op datum te filteren. Ook een coachingsrapport opvragen behoort tot de mogelijkheden.
Leerlinginlog:
Inlog van leerlingen. Een leerlingen inlog is te verkrijgen via Toetsplaza. Vanuit toetsplaza gaat een bericht naar de qmp-coordinator en (eventueel) de examensecretaris van het aoc. Indien er geen qmp-coordinator is neem dan contact op met het expertise centrum.
Beheerdersaccount:
Inlog van beheerder. Een beheerder inlog is te verkrijgen via de qmp coordinator van de locatie. Indien er geen qmp-coordinator is neem dan contact op met het expertise centrum.
Na start van een toets krijgt de leerling eerst een info-scherm. Daarna een invulformulier. Daar moet worden ingevuld: Voornaam Achternaam Burger Service Nummer (BSN) Geboortedatum Geboorteplaats (Opmerking hierbij. Dit zijn verplichte invulvelden, d.w.z. er moet iets worden ingevuld. Als je niet wilt of kunt werken met BSN -> laat dan bijv. 99 invullen Het is belangrijk de leerlingen erop te wijzen dat m.n. voornaam en achternaam goed/correct/netjes wordt ingevuld. Want anders heeft de rapportage veel minder zin. En het is veel moeilijker om zaken terug te vinden als dit slordig gedaan is)
Rapportage
Aan einde van een toets krijgt de leerling een rapportagescherm te zien. Van deze rapportage is ook een pdf te maken. Hiervoor moet er op de knop PDF geklikt worden. Op deze rapportage zie je naast de behaalde punten ook een cijfer staan. Dit cijfer wordt geproduceerd aan de hand van de formele normeringstabel. De behaalde punten zijn opgeslagen in het systeem en kunnen altijd worden teruggevonden. MAAR het geproduceerde cijfer wordt echter NIET opgeslagen in het systeem. Het wordt WEL meegenomen in de pdf. Als je geen pdf laat maken, is het verstandig om het cijfer te noteren. Maar mocht het gebeuren dat je dat cijfer niet hebt genoteerd, kun je de punten dus wel altijd terughalen. En aan de hand van de normeringstabel alsnog het cijfer aflezen. De punten zijn een factor 10 meer dan bij de papieren toets. Bij papier is maximum te behalen 40 pt. Bij de digitale is dat 400. Voor de score en het cijfer maakt dat natuurlijk geen verschil.
Beheerdersaccount bij opstarten van toets (dus die 2e inlog)
er zijn een aantal manieren hoe je het best om kunt gaan met inloggen:
- je kunt pc's opstarten en zelf als leerling inloggen en vervolgens als beheerder. Je zet dus als het ware de pc vast klaar voor toetsafname
- je kunt leerlingen laten inloggen met de algemene leerlingaccounts, je geeft dan elke leerling een andere. Vervolgens ga je langs de leerlingen om de 2e inlog te doen. Bij deze manier is het belangrijk om die 2e inlog afgeschermd te doen zodat de leerling niet mee kan kijken.
- je kunt de leerlingen zowel de leerlingaccount meedelen als de beheersers account. Maar dan moet je direct daarna het wachtwoord van het beheerdersaccount wijzigen.
(N.B. Het is trouwens altijd aan te raden om het wachtwoord van beheerdersaccount elke keer na een toets te wijzigen)
De eerste en tweede manieren zijn bij kleine aantallen leerlingen goed te doen. Bij een grote groep is de derde manier de makkelijkste
Wijzigen van wachtwoord
Via: http://aoc03.qmark.nl/em/login.asp
Na inloggen klik je op Home
Bij Change My Password het wachtwoord wijzigen
Door deze manier van toetsafname staan de toetsen altijd gereed. Je hebt het dus vanaf dit moment geheel zelf in de hand. Meer dan klikken en inloggen hoef je niet te doen. Mochten er nog vragen zijn of opmerkingen --> laat het weten.