Regeling van het College voor Toetsen en Examens van 30 november 2015, nummer CvTE-15.02159, houdende vaststelling van regels voor de omzetting van scores in cijfers bij centrale examens en de rekentoets in het voortgezet onderwijs (Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016)

Gelet op artikel 2, tweede lid, aanhef en onderdeel e, en lid 2a van de Wet College voor toetsen en examens;

Gezien de goedkeuring van de Staatsecretaris van Onderwijs, Cultuur en Wetenschap, gegeven op 19 januari 2016, nummer 868228;

Besluit:

Artikel 1. centrale examens VO

De omzetting van scores in cijfers bij centrale examens VO, bedoeld in artikel 2, tweede lid, onderdeel e, van de Wet College voor toetsen en examens geschiedt op de in de bijlage 1 bij deze regeling vastgestelde wijze.

Artikel 2. rekentoets VO

Vervallen

Artikel 3. tijdelijke speelruimte centraal schriftelijk en praktisch examen

Vervallen

Artikel 4. inwerkingtreding

Deze regeling treedt in werking met ingang van de eerste dag na de datum van uitgifte van de Staatscourant waarin zij wordt geplaatst.

Artikel 5. intrekking

De Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2015 van 9 februari 2015, wordt ingetrokken.

Artikel 6

Deze regeling wordt aangehaald als: Regeling omzetting scores in cijfers VO.

Bijlage 1. Wijze van omzetting van scores in cijfers bij centrale examens VO als bedoeld in artikel 1

De instructies die het CvTE toepast om tot de N-termen te komen

1. Uitgangspunt

De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij eenzelfde centraal examen (vak en schooltype/leerweg) dezelfde eisen worden gesteld. Omdat het technisch onmogelijk is onze examens van jaar op jaar precies even moeilijk te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor. Het proces van normering is erop gericht, gegeven dit uitgangspunt, de juiste N-term te bepalen.

In supplement I staan de formules die bij de omzetting van score naar cijfer worden gehanteerd.

Voor ieder centraal examen stelt het College voor toetsen en examens (CvTE), zodra dat mogelijk is, referentiegegevens vast; een referentie-examen met een referentie-N-term en een referentiepopulatie met een referentie-gemiddeld cijfer en referentie-percentage onvoldoende.

Examens in het eerste tijdvak

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.

Voor ieder centraal examen worden afnamegegevens verzameld; scores per item per kandidaat. Daarnaast wordt informatie verzameld over de moeilijkheidsgraad van dat examen in vergelijking met het referentie-examen. Daarvoor kan gebruik gemaakt worden van:

De N-term wordt bepaald aan de hand van een gewogen oordeel over alle beschikbare bronnen voor het betreffende centraal examen. Op deze manier wordt gezorgd dat een verandering in vaardigheidsniveau gesignaleerd wordt en de prestatie-eis gelijk blijft ook als de vaardigheid van de examenpopulatie verschilt van de referentiepopulatie8Dit is een groep kandidaten uit een of meer eerdere examenjaren, waarvan gegevens over het vaardigheidsniveau bekend zijn.. Het gemiddeld cijfer wordt hoger bij een toegenomen vaardigheidsniveau en lager bij een gedaald vaardigheidsniveau.

Voor de voor een kandidaat nadelige gevolgen van een door het CvTE vastgestelde fout of onvolkomenheid in een examen of correctievoorschrift, compenseert het CvTE via de normeringsterm indien:

Voor het examen in het tweede tijdvak geldt in beginsel de N-term van het eerste tijdvak. Aan de hand van verzamelde informatie over de moeilijkheidsgraad van het examen in het tweede tijdvak in vergelijking met het examen in het eerste tijdvak, wordt nagegaan of deze N-term zou leiden tot hogere eisen aan de kandidaat dan in het eerste tijdvak. Als dat het geval is, wordt de N-term zo vastgesteld dat de eisen gelijk zijn.

Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift.

Bij de normering van een examen met een nieuw examenprogramma kan vaak geen vergelijking gemaakt worden met een referentie-examen. In dat geval kan gebruik gemaakt worden van niet-vergelijkende standaardbepalingsmethoden.

In geval van een pilot kan een examen op basis van het nieuwe programma (het pilotexamen) gelijktijdig worden afgenomen met een examen op basis van het oude programma (het reguliere examen). Als de oude en nieuwe stof elkaar deels overlappen en de overlap eenzelfde positie in het programma inneemt, wordt op grond van de resultaten van de kandidaten op de vragen over de overlappende stof de vaardigheid van de kandidaten bepaald. Deze informatie kan gebruikt worden om de moeilijkheidsgraad van de vragen over de niet-overlappende stof en vervolgens het gehele examen te bepalen.

Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.

Compensatie voor fouten of onvolkomenheden via de normeringsterm

Examens in het tweede tijdvak

Deze correctieprocedure via de N-term geldt voor alle tijdvakken en vindt in voorkomende gevallen plaats op grond van de in supplement II bij deze bijlage opgenomen formules voor het compenseren voor een fout of onvolkomenheid. Hierdoor wordt voorkomen dat de score van een kandidaat in een te laag cijfer wordt omgezet.

C = 9,0 * (S/L) + N.................... (1)

1. Uitgangspunten

Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:

Uitgangspunten

2. Het normeringsvoorschrift

Het normeringsvoorschrift bestaat uit twee onderdelen:

3. De hoofdrelatie

De hoofdrelatie geeft aldus het examencijfer als functie van de score:

C = 9,0 * (S/L) + N (1)

waarin:

Het normeringsvoorschrift

S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.

De hoofdrelatie

N = de normeringsterm, een getal met één decimaal liggend tussen de waarden: N = 0,0 en N = 2,09Incidenteel kan een N-term hoger dan 2,0 worden vastgesteld als dit gegeven de moeilijkheidsgraad van het examen nodig is om recht te doen aan de prestaties van de kandidaten., vast te stellen door het CvTE middels een normeringsbeslissing.

Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.

De hoofdrelatie is gevisualiseerd in figuur 1:

C = 9,0 * (S/68) + 1,0.

Als de normeringsterm groter of kleiner is dan 1,0 wordt niet automatisch voldaan aan de eerder genoemde vier uitgangspunten. Bij N-termen groter dan 1,0 zou een score van 0 een cijfer hoger dan 1,0 opleveren en de maximale score hoger dan 10,0. Het omgekeerde gebeurt bij N-termen kleiner dan 1,0. Hiermee is niet voldaan aan de uitgangspunten 2 en 3.

Dit is in beeld gebracht in figuur 2:

Dit wordt opgelost door middel van een systeem van zogeheten grensrelaties. Het principe van grensrelaties is gevisualiseerd in figuur 3.

Samen vormen de vier lijnstukken 2a, 2b, 3a en 3b een gebied waarbinnen alle toegestane score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie.

De grensrelaties worden gevormd door de volgende vier formules:

C = 1,0 + S (9/L)2 (2a)

C = 10,0 – (L-S)* (9/L) * 0,5 (2b)

C = 1,0 + S (9/L) 0,5 (3a)

C = 10,0 – (L-S)(9/L)2 (3b)

Bij N > 1,0 geldt voor de laagste scores de formule (2a) en voor de hoogste scores de formule (2b).

In figuur 4 is dit gevisualiseerd.

Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores de formule (3b).

In figuur 5 is dit gevisualiseerd.

C = 1,0 + S (9/L) 0,5.........................(3a)

De grensrelaties

Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 6 is gelabeld met: ‘N=1,0’.

Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn als voorbeelden de twee gevallen in beeld gebracht die respectievelijk corresponderen met N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).

Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores de formule (3b).

De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd met 9 * Pvrg * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal ofwel de maximaal haalbare score op het gehele examen.

Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, voldoende wordt gecompenseerd om geen nadeel te ondervinden van de fout.

Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Deze compensatie is wellicht te hoog, maar zo wordt voorkomen dat kandidaten benadeeld worden door de fout.

De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd met 9 * Pvrg * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal oftewel de maximaal haalbare score op het gehele examen.

Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, precies voldoende wordt gecompenseerd.

In het tweede tijdvak wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

Deze verhoging voorkomt dat de onvolkomen vraag tot een te lage N-term zou leiden.

Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een Pvrg en een P-ir van 1.

In figuur 4 is dit gevisualiseerd.

Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores de formule (3b).

In figuur 5 is dit gevisualiseerd.

Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 4 is gelabeld met: ‘N=1,0’.

Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn als voorbeelden de twee uiterste gevallen in beeld gebracht, die resp. corresponderen met de normeringsbeslissingen N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).

en voor de hoogste scores de formule (3b).

Bijlage 2. behorende bij artikel 2 van de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2016, van 30 november 2015, nummer CvTE-15.02159

Examens in het eerste tijdvak

De formules voor het compenseren voor een fout of onvolkomenheid

In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal oftewel de maximaal haalbare score op het gehele examen.

Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, precies voldoende wordt gecompenseerd.

Examens in het tweede tijdvak

Op basis van de scores van de herkansende kandidaten die in het eerste tijdvak een onvoldoende hadden wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. Een P-ir van 0,38 betekent, dat deze kandidaten, van het ingekorte examen gemiddeld 38% van de maximaal haalbare score behaald hebben. De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

Op basis van de scores van de groep die het examen in het tweede tijdvak voor het eerst maakt kan de formule voor het eerste tijdvak worden toegepast. De uiteindelijke ophoging is de hoogste waarde van de twee uitkomsten.

Deze verhoging voorkomt dat de onvolkomen vraag tot een te lage N-term zou leiden.

Examens in het derde tijdvak op de scholen

In het derde tijdvak wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. De N-term die in eerste instantie zonder de fout zou zijn vastgesteld, wordt verhoogd met 9 * P-ir * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.

In het tweede tijdvak wordt van het ingekorte examen, dus zonder de foute of onvolkomen vraag, P-ir berekend. Een P-ir van 0,38 betekent, dat de kandidaten die in het eerste tijdvak een onvoldoende hadden, van het ingekorte examen gemiddeld 38% van de maximaal haalbare score behaald hebben.

Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een Pvrg en een P-ir van 1.

Examens in het derde tijdvak

De N-term van het tweede tijdvak wordt echter nooit lager dan de voorlopige N-term voor het tweede tijdvak die vooraf is gepubliceerd. De definitieve N-term van het tweede tijdvak is dus alleen de laatstgenoemde uitkomst (inclusief de verhoging en afronding op één decimaal) als die hoger is dan de voorlopige N-term.

De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een Pvrg en een P-ir van 1.

Aan het derde tijdvak nemen nog minder kandidaten deel dan aan het tweede tijdvak, waardoor de P-waarden geen relevante informatiebron vormen.

De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Dit komt erop neer dat in het derde tijdvak gewerkt wordt met een Pvrg en een P-ir van 1.

De vaardigheid van de kandidaat wordt dus eigenlijk geschat aan de hand van de antwoorden op een verkorte examenvariant, waarin de geneutraliseerde items niet opgenomen zijn. In tabel 2 staat een voorbeeld van de omzettingstabel van score naar vaardigheid als er in een variant, waarop maximaal 54 punten behaald kunnen worden, drie geneutraliseerde items van ieder maximaal 1 punt zijn. De schatting van de vaardigheid gaat uitsluitend over de verkorte variant, met scores 0 tot en met 51. De rapportage gaat over de gehele range 0 tot en met 54. De ‘neutrale punten’ worden bij de verkorte score opgeteld om tot de score op de volledige variant te komen. In de rapportage-tabel staat achter de scores 0, 1 en 2 dezelfde vaardigheid als bij de laagst mogelijke score 3, namelijk vaardigheid 75. Echter, in praktijk komen deze scores niet voor omdat iedere kandidaat minimaal 3 punten scoort, namelijk op de geneutraliseerde items.

Zoals gebruikelijk bij toetsen en examens, worden bij de rekentoetsen VO en de centrale examens Nederlandse taal en rekenen in het MBO cijfers toegekend. De manier waarop deze cijfers bepaald worden, noemen we ‘normering met een vaardigheidsschaal’.

Het gebruik van een vaardigheidsschaal is vooral geschikt als er meerdere varianten van een examen zijn. De ene variant kan net iets makkelijkere opgaven hebben dan de andere variant. Dit kan gebeuren omdat de moeilijkheid van een opgave niet heel precies ingeschat kan worden voordat deze is voorgelegd aan examenkandidaten. Bij het toekennen van cijfers moet daar rekening mee gehouden worden. Op de makkelijkere varianten moet een kandidaat dan iets meer vragen goed beantwoord hebben om een 6 te krijgen. We kunnen ook zeggen: een kandidaat moet eenzelfde vaardigheid aantonen voor een 6, ongeacht de variant die hij maakt, ongeacht het jaar waarin het examen wordt afgelegd dan wel de examenperiode binnen dat jaar. En dit moet ook gelden voor ieder ander cijfer. Ongeacht de variant die gemaakt wordt, moet eenzelfde aangetoonde vaardigheid steeds beloond worden met eenzelfde cijfer.

Meten van vaardigheid

Het gebruik van een vaardigheidsschaal is vooral geschikt als er meerdere varianten van een examen zijn. De ene variant kan net iets makkelijkere opgaven hebben dan de andere variant. Dit kan gebeuren omdat de moeilijkheid van een opgave niet heel precies ingeschat kan worden voordat deze is voorgelegd aan examenkandidaten. Bij het toekennen van cijfers moet daar rekening mee gehouden worden. Op de makkelijkere varianten moet een kandidaat dan iets meer vragen goed beantwoord hebben om een 6 te krijgen. We kunnen ook zeggen: een kandidaat moet eenzelfde vaardigheid aantonen voor een 6, ongeacht de variant die hij maakt, ongeacht het jaar waarin het examen wordt afgelegd dan wel de examenperiode binnen dat jaar. En dit moet ook gelden voor ieder ander cijfer. Ongeacht de variant die gemaakt wordt, moet eenzelfde aangetoonde vaardigheid steeds beloond worden met eenzelfde cijfer.