LegalizeRegeling van het College voor toetsen en examens van 28 november 2022, nummer CvTE-22.00977, houdende vaststelling van de regeling voor de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen (Regeling beoordelingsnormen doorstroomtoetsen PO)
Gelet op artikel 3a, eerste lid, onderdeel f, van de Wet College voor toetsen en examens;
Gezien de goedkeuring van de Minister voor Primair en Voortgezet Onderwijs, gegeven op 4 november 2022, nummer 1303595,
Besluit:
Treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wijzigingswet Wet op het primair onderwijs, enz. (aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs) in werking treedt.
Artikel 1. Beoordelingskader
De regeling voor de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen als bedoeld in artikel 3a, eerste lid, onderdeel f van de Wet College voor toetsen en examens wordt vastgesteld als opgenomen in de bijlage van deze regeling.
Artikel 2. Technische specificaties levering van gegevens voor de beoordeling van de doorstroomtoetsen
De technische specificaties voor de levering van de gegevens voor de beoordeling van de doorstroomtoetsen, als bedoeld in artikel 1, worden beschreven in het handboek doorstroomtoets en het handboek normering of aanvullingen daarop, zoals gepubliceerd op de website van het College voor toetsen en examens (cvte.nl/onderwerpen/toetsen-primair-onderwijs).
Artikel 3. Inwerkingtreding
Deze regeling treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs(Stb. 2022, 135) in werking treedt.
Artikel 4. Citeertitel
Deze regeling wordt aangehaald als: Regeling beoordelingsnormen doorstroomtoetsen PO.
Bijlage 1. De procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen
Bijlage behorende bij artikel 1 van de Regeling beoordelingsnormen doorstroomtoetsen po
1.1. Reikwijdte
1.1. Reikwijdte
De Regeling Beoordelingsnormen Doorstroomtoetsen po beschrijft de inhoud en de processtappen van de volgende sleutelonderdelen, met verwijzing naar de paragrafen met kwaliteitseisen zoals opgenomen in de Regeling beoordelingskader doorstroomtoetsen po:
Ter voorbereiding op de landelijke (toetsoverstijgende) normering:
De landelijke (toetsoverstijgende) normering (conform deze onderhavige Regeling beoordelingsnormen doorstroomtoetsen po).
Na afronding van de landelijke (toetsoverstijgende) normering:
Een doorstroomtoets wordt erkend door het CvTE voor een periode van vier jaar, mits deze voldoet aan de voorwaarden voor erkenning en de regeling beoordelingskader doorstroomtoetsen po.
1.2. Begrippen en definities
1.2. Begrippen en definities
Waar haalbaar en mogelijk worden de eisen aan de software geoperationaliseerd in lijn met de BIV (Beschikbaarheid, Integriteit, Vertrouwelijkheid)-classificatie. Informatie moet beschikbaar en toegankelijk zijn. Classificatie gaat in op de mogelijke gevolgen als informatie, of een informatieset, niet beschikbaar is. De BIV-classificatie is een indeling die binnen de informatiebeveiliging wordt gehanteerd, waarbij de beschikbaarheid (continuïteit en repliceerbaarheid), de integriteit (betrouwbaarheid en transparantie) en de vertrouwelijkheid (exclusiviteit en privacy) van informatie en systemen wordt aangegeven.
De functionaliteit van de software dient passend en toereikend te zijn voor het uitvoeren van de landelijke (toetsoverstijgende) normeringsprocedure, voor gebruik van een twee parameter logistisch itemresponsemodel (2PL) – dat wil zeggen een model waarin de moeilijkheidsgraad en het onderscheidend vermogen van de toetsopgaven worden meegenomen.
Het CvTE laat periodiek de software, die door de adviseur wordt gebruikt voor de landelijke toetsoverstijgende normering, extern valideren op bovenstaande criteria.
2. Gezamenlijk anker
Het gezamenlijk anker is een verzameling van opgaven die in alle doorstroomtoetsen wordt opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende doorstroomtoetsen vast te kunnen stellen en daarmee zowel de vergelijkbaarheid tussen doorstroomtoetsen als over jaren heen te waarborgen. Het ankerbankbeheer is belegd bij de adviseur.
Het gezamenlijk anker is een verzameling van opgaven die in alle doorstroomtoetsen wordt opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende doorstroomtoetsen vast te kunnen stellen en daarmee zowel de vergelijkbaarheid tussen doorstroomtoetsen als over jaren heen te waarborgen. Het ankerbankbeheer is belegd bij Stichting Cito.
De Regeling beoordelingskader doorstroomtoetsen po biedt twee scenario’s voor het pretesten:
Deze paragraaf beschrijft de levenscyclus van een ankeropgave. Per stap wordt beschreven wat de te nemen acties zijn, wie wat oplevert, en hoe de verantwoordelijkheden zijn belegd.
Deze paragraaf beschrijft de levenscyclus van een ankeropgave. Per stap wordt beschreven wat de te nemen acties zijn, wie wat oplevert, en hoe de verantwoordelijkheden zijn belegd.
A. Inventarisatie van de ankerbank
Er wordt een inventarisatie gemaakt van de hoeveelheid beschikbaar materiaal in de huidige ankerbank in relatie tot de toetsmatrijs (zie paragraaf 2.4) en de verversingsstrategie (zie stap F). Op basis hiervan wordt door het CvTE aan de ankerbankbeheerder de opdracht gegeven tot het opleveren van een nieuwe jaarset, waar afhankelijk van de inventarisatie een constructieopdracht aan verbonden is. Wanneer er een constructieopdracht nodig blijkt om de jaarset te kunnen leveren, dan zal deze met de toetsaanbieders gedeeld worden.
De constructieopdracht geeft aan wat voor opgaven opgeleverd moeten worden aan de ankerbankbeheerder en aan welke eisen deze moeten voldoen.
4. Landelijke (toetsoverstijgende) normering
Opgaven dienen daarom ook gepretest te worden voordat ze opgenomen kunnen worden in de ankerbank. Hier zijn twee routes voor:
4.1. Aanleveren, controleren en analyseren van de ruwe toetsscores
Opgaven dienen daarom ook gepretest te worden voordat ze opgenomen kunnen worden in de ankerbank. Hier zijn twee routes voor:
Voordat opgaven gepretest worden in optie A of na een voorgestelde wijziging in route B, dienen de opgaven te zijn voorgelegd en als goed te zijn beoordeeld door de onderwijskundige beoordeling van het CvTE.
Naast de inhoudelijke eisen zoals gespecificeerd in de constructieopdracht moeten de opgaven aan psychometrische eisen voldoen (zie paragraaf 2.3.2).
Afhankelijk van de analyse kan een opgave vervolgens aangepast worden voor een volgende high-stakes afname, of wordt de opgave compleet verwijderd uit de ankerbank. Naast toets-DIF kan er tussen afnamejaren ook parameterdrift plaatsvinden bij een ankeropgave. In dit geval kunnen soortgelijke maatregelen getroffen worden.
4.2. Overbrengen van de cesuren van de referentieniveaus en het toetsadvies
Nadat een opgave in 3 jaarsets is opgenomen, wordt de opgave niet meer geselecteerd. Een opgave mag maximaal 5 jaar na de eerste opname in een jaarset nog geselecteerd worden.
Nadat de doorstroomtoetsen afgenomen zijn, wordt tijdens de kalibratie ten behoeve van de landelijke normering gecontroleerd of de ankeropgaven voldoen aan de psychometrische eisen van een goed anker. Als dit het geval is, worden ze ook daadwerkelijk gebruikt voor de equivalering van de verschillende doorstroomtoetsen en afnamejaren. Indien een ankeropgave psychometrisch voldoet, zal deze ook meetellen in de totaalscore van de leerling. Wanneer een ankeropgave in de afname niet blijkt te voldoen, kan dit afhankelijk van de details verschillende gevolgen hebben. Als een opgave niet blijkt te functioneren afname in alle toetsen of toetsvarianten kan de ankeropgave compleet verworpen worden, waardoor de opgave niet meer meewerkt in de equivalering en ook niet meer meetelt in de score van de leerlingen. In het geval van toets-DIF kan er bijvoorbeeld ook gekozen worden om de ankeropgave bij één toets(variant) of bij een deel van de toetsen los te koppelen, waardoor deze opgave voor deze toets(variant) geen rol speelt in de equivalering, maar de opgave wel gebruikt kan worden in de vaardigheidsschattingen en scoring van de leerlingen.
Afhankelijk van de analyse kan een opgave vervolgens aangepast worden voor een volgende afname, of wordt de opgave compleet verwijderd uit de ankerbank. Naast toets-DIF kan er tussen afnamejaren ook parameterdrift plaatsvinden bij een ankeropgave. In dit geval kunnen soortgelijke maatregelen getroffen worden.
Aansluitend stelt de aanbieder zelf op basis van de door het CvTE vastgestelde cesuren voor de referentieniveaus voor de wettelijk verplichte onderdelen Lezen, Taalverzorging en Rekenen en de cesuren voor toetsadviescategorieën per individuele leerling de definitief behaalde referentieniveaus en het toetsadvies vast.
5. Kwaliteitsverantwoording
Nadat een opgave in 3 jaarsets is opgenomen, wordt de opgave niet meer geselecteerd. Een opgave mag maximaal 5 jaar na de eerste opname in een jaarset nog geselecteerd worden.
Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.
Bijlage behorende bij artikel 1 van de Regeling beoordelingsnormen doorstroomtoetsen PO
Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet (langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens.
Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet (langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens.
1.3. Eisen aan de software
1.3. Eisen aan de software
Het CvTE laat periodiek de software, die door de adviseur wordt gebruikt voor de landelijke toetsoverstijgende normering, extern valideren op bovenstaande criteria.
2. Gezamenlijk anker
2.2. De ankercyclus
2.2. De ankercyclus
De constructieopdracht geeft aan wat voor opgaven opgeleverd moeten worden aan de ankerbankbeheerder en aan welke eisen deze moeten voldoen.
De aspirant-ankeropgaven doorlopen in principe hetzelfde traject als normale opgaven voor doorstroomtoetsen: ze moeten voldoen aan dezelfde eisen als reguliere opgaven zoals beschreven in het beoordelingskader.
Uit de ankerbank wordt een selectie gemaakt voor een jaarset met daarin de gezamenlijk ankeropgaven die worden afgenomen in een bepaald afnamejaar. Deze wordt vastgesteld door het CvTE. De in de bank opgenomen moederopgaven worden vervolgens door de toetsaanbieders overgenomen en eventueel aangepast zodat ze geschikt zijn voor hun doorstroomtoets. Hierbij worden de richtlijnen uit paragraaf 2.3.4 in acht genomen om mogelijke bias te voorkomen. Aangepaste opgaven of kindopgaven worden ter goedkeuring schriftelijk voorgelegd aan het CvTE. Goedgekeurde kindopgaven kunnen worden opgenomen in de doorstroomtoetsen.
2.3. Richtlijnen
2.3.1. Richtlijnen rond de constructie van ankeropgaven
F. Verversingsstrategie
Er wordt een verversingsstrategie van 50% nagestreefd. Dit betekent dat iedere jaarset idealiter voor ieder vaardigheidsdomein voor de helft uit opgaven bestaat die voor het eerst ingezet worden. Een kwart van de jaarset bestaat uit opgaven die een jaar eerder in de jaarset opgenomen waren, en een kwart uit opgaven die voor het laatst meer dan een jaar geleden geselecteerd zijn.
2.3.3. Richtlijnen rond de opslag van ankeropgaven
2.3. Richtlijnen
2.3.1. Richtlijnen rond de constructie van ankeropgaven
Het is niet toegestaan vastgestelde ankeropgaven zonder overleg met CvTE elders te gebruiken. Toetsaanbieders zullen aan derden geen informatie, kennis of gegevens openbaren of doen openbaren, op welke wijze dan ook, met betrekking tot de ankerbank, het gezamenlijk anker en alle andere informatie die aan hen bekend is geworden en waarvan zij redelijkerwijs moeten begrijpen dat deze informatie van vertrouwelijke aard is.
Deze richtlijnen betreffen de selectie van de moederopgaven waarvoor in een pretest gegevens zijn verzameld. Wanneer deze opgaven geselecteerd worden, kan iedere toetsaanbieder een eigen kindopgave van deze opgave maken dat zo min mogelijk afwijkt van de moederopgave, maar past bij de eigen vormgeving. Ingediende opgaven hebben niet eerder in een doorstroomtoets van een aanbieder gezeten, tenzij dit in een zaaisteekproef was zoals omschreven in 5.2 van de Regeling beoordelingskader doorstroomtoets PO.
2.4. Toetsmatrijs
Tijdens de selectie van de jaarsets van het gezamenlijk anker worden de volgende uitgangspunten gehanteerd:
De toetsmatrijs geldt als richtlijn voor de vaststelling van iedere jaarset, hier kan van jaar op jaar in beperkte mate van afgeweken worden, bijvoorbeeld als de vulling van de bank niet toereikend is:
1 Onder overige regels worden spelambigue woorden (logografische spelling), schrijfwijze van tussenklanken en gebruik van trema en koppelteken bedoeld (Meijerink, 2009).
3. Landelijke (toetsoverstijgende) normering
Deze geheimhoudingsplicht blijft van kracht op het moment dat een toetsaanbieder niet langer een doorstroomtoets aanbiedt.
Om recht te doen aan een betrouwbare en valide inschatting van het vaardigheidsniveau van leerlingen, het vergroten van de vergelijkbaarheid, in het geval van een calamiteit of anderszins gewichtige reden, kan het CvTE besluiten om van de in deze Regeling Beoordelingsnormen Doorstroomtoetsen po beschreven wijze van normering af te wijken.
Tijdens de selectie van de jaarsets van het gezamenlijk anker worden de volgende uitgangspunten gehanteerd:
3.1. Planning en aanleveren en data
Er zijn minstens twee zakelijke teksten en één fictionele/narratieve/literaire tekst. Van de zakelijke teksten is er minstens één informatief en één instructief of betogend.
3.2. Datalevering
De toetsaanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig beschikbaar stellen van consistente data uit de operationele afname van de varianten die zijn afgenomen in het betreffende jaar.
Na afname van de varianten van de doorstroomtoetsen van het vigerende kalenderjaar, start de landelijke (toetsoverstijgende) normering. In deze Regeling Beoordelingsnormen Doorstroomtoetsen po worden normeringsstappen beschreven. Het CvTE stelt vervolgens voor ieder van de afgenomen doorstroomtoetsen de normering vast.
Om recht te doen aan een betrouwbare en valide inschatting van het vaardigheidsniveau van leerlingen, het vergroten van de vergelijkbaarheid, in het geval van een calamiteit of anderszins gewichtige reden, kan het CvTE besluiten om van de in deze Regeling Beoordelingsnormen Doorstroomtoetsen po beschreven wijze van normering af te wijken.
In het geval van ingrijpen door het CvTE omdat de normering bij een specifieke doorstroomtoets niet kan worden uitgevoerd, kan dat consequenties hebben voor de erkenning of toelating van de betreffende doorstroomtoets voor het erop volgende jaar.
De toetsaanbieder levert een zo compleet mogelijke dataset, die bestaat uit ruwe scores en andere kenmerken van leerlingen van zowel het regulier basisonderwijs als speciaal (basis)onderwijs, maar exclusief NOB-scholen en particuliere scholen. Minimaal moet de dataset bij de uiteindelijke datalevering resultaten van 50% van het totale aantal inschrijvingen van een doorstroomtoets bevatten. Alle dataleveringen bevatten minstens 1000 observaties per gezamenlijk ankeropgave uit de verplicht op te nemen jaarset van het gezamenlijk anker. Leerlingen die speciale toetsversies maken, zoals bijvoorbeeld bij de toets voor blinden of slechthorenden of gebruik maken van de rekenkaart, worden niet geleverd en tellen niet mee in de hiervoor genoemde eisen. Leerlingen die een reguliere variant maken maar bijvoorbeeld van een verklanking gebruikmaken dienen wel geleverd te worden. Van opgaven die niet meetellen (bijvoorbeeld zaai-opgaven zoals beschreven in 5.2 scenario 2 van het Beoordelingskader of geneutraliseerde opgaven), worden geen afnamegegevens door de toetsaanbieder aangeleverd. Afgebroken en ongeldige afnames vormen geen deel van de datalevering door de toetsaanbieder.
In onderstaande tabel staat de planning van de normeringsfasen beschreven. Een gedetailleerde beschrijving van de werkzaamheden is beschreven in de volgende paragrafen. Het is uiteraard mogelijk dat een stap eerder is afgerond dan de deadline. Het CvTE kan in bijzondere gevallen genoodzaakt zijn de genoemde data aan te passen en zal in dat geval de nieuwe planning met de toetsaanbieders delen.
De data zal aangeleverd worden via de terminal server van het CvTE. Iedere toetsaanbieder heeft een map campagne van het betreffende jaar waarin de data geplaatst wordt.
De toetsaanbieder is verantwoordelijk voor het correct, tijdig, volledig en veilig aan het CvTE beschikbaar stellen van consistente data uit de operationele afname van de varianten die zijn afgenomen in het betreffende jaar.
De toetsaanbieder levert voor de landelijke normering de voorgeschreven gegevens over de afgenomen doorstroomtoets op de terminal-server van het CvTE. Iedere toetsaanbieder heeft een map campagne van het betreffende jaar waarin de data geplaatst wordt.
3.2.1. Data en structuur
Wanneer de controles van de data interne inconsistenties uitwijzen, wordt de toetsaanbieder hiervan op de hoogte gesteld. Het CvTE en de adviseur zullen de data niet bewerken anders dan voorzien en beschreven is in deze regeling. Wanneer er vertragingen in aanlevering van de data optreden kan het normeringsproces vertraging oplopen.
⋯
De raadpleging van dit document komt niet in de plaats van het lezen van het oorspronkelijke Staatsblad of de Staatscourant. Wij aanvaarden geen aansprakelijkheid voor eventuele onnauwkeurigheden die voortvloeien uit de omzetting van het origineel naar dit formaat.