Regeling van het College voor toetsen en examens van 28 november 2022, nummer CvTE-22.00976, houdende vaststelling van het beoordelingskader voor de doorstroomtoets in het primair onderwijs (Regeling beoordelingskader doorstroomtoets PO)

Gelet op artikel 3a, eerste lid, onderdeel g, van de Wet College voor toetsen en examens;

Gezien de goedkeuring van de Minister voor Primair en Voortgezet Onderwijs, gegeven op 4 november 2022, nummer 1303595,

Besluit:

Treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs (Stb. 2022, 135) in werking treedt.

Artikel 1. Beoordelingskader

Het beoordelingskader voor de doorstroomtoets als bedoeld in artikel 3a, eerste lid, onderdeel g van de Wet College voor toetsen en examens wordt vastgesteld als opgenomen in de bijlage van deze regeling.

Artikel 2

De technische specificaties voor de levering van de gegevens voor de beoordeling van de doorstroomtoetsen staan in het handboek normering en het handboek gezamenlijk anker.

Artikel 3. Inwerkingtreding

Deze regeling treedt in werking op het tijdstip waarop artikel VIII, onderdeel B, van de Wet van 9 februari 2022 tot wijziging van een aantal onderwijswetten in verband met aanpassingen op het gebied van de doorstroom van het basisonderwijs naar het voortgezet onderwijs en wijziging van de stelselinrichting van doorstroomtoetsen en toetsen verbonden aan leerling- en onderwijsvolgsystemen in het basisonderwijs (Stb. 2022, 135) in werking treedt.

Artikel 4. Citeertitel

Deze regeling wordt aangehaald als: Regeling beoordelingskader doorstroomtoets PO.

Bijlage 1. Beoordelingskader voor de doorstroomtoets

Bijlage behorende bij artikel 1 van de Regeling beoordelingskader doorstroomtoets PO.

1. Inleiding

1.1. Begrippen en definities

1.2. Reikwijdte

Sinds het schooljaar 2014–2015 zijn scholen in het primair onderwijs verplicht in groep 8 een eindtoets Nederlandse taal en Rekenen af te nemen. Per 1 januari 2023 is de eindtoets vervangen door de doorstroomtoets. De Wet doorstroomtoets po schrijft voor dat het College voor Toetsen en Examens (CvTE) als wettelijke taak heeft om doorstroomtoetsen te erkennen. Doorstroomtoetsen die het CvTE erkent, worden voor een periode van vier jaar toegelaten tot het primair onderwijs.

Het CvTE maakt voor het erkennen van een doorstroomtoets gebruik van een adviseur. De adviseur baseert diens advies op het beoordelingskader vastgesteld met deze regeling.

Op basis van het advies van de adviseur stelt het CvTE tevens jaarlijks vast of de erkende doorstroomtoets voor dat jaar voldoet aan de criteria van de Regeling beoordelingskader doorstroomtoetsen po.

Bij het beoordelen van extra kennisgebieden, buiten de verplichte en optionele domeinen van de terreinen Nederlandse taal en Rekenen, oordeelt het CvTE of ook dat deel van de toets inhoudelijk valide en betrouwbaar is en of het van een deugdelijke normering is voorzien. Voor de beoordeling van dit deel worden de toetsbare onderdelen van dit beoordelingskader toegepast.

Het CvTE beoordeelt ook de door de overheid aangeboden calamiteitentoets1https://www.eerstekamer.nl/behandeling/20210907/gewijzigd_amendement_van_het_lid/document3/f=/vlmnj6ccx4n2.pdf. Vanwege de bijzondere aard van de calamiteitentoets, bestaat de jaarlijkse vaststelling slechts uit een inhoudelijke check op actualiteiten en de kalibratie. Indien de calamiteitentoets in enig jaar moet worden ingezet, wordt een nieuwe toets voor het daarop volgende jaar ontwikkeld. Deze moet dan opnieuw erkend te worden door het CvTE.

Voor een adaptieve doorstoomtoets op moduleniveau (MST) hanteert de aanbieder jaarlijks een adequate verversingsstrategie voor de opgaven van de itembank, passend bij de mate van adaptiviteit.

Deze regeling geeft een beoordelingskader voor de erkenning en jaarlijkse vaststelling van de doorstroomtoets primair onderwijs, ten aanzien van de toepassing van de psychometrische, onderwijskundige en organisatorische aspecten van de toets als bedoeld in artikel 3a, eerste lid aanhef en onder g van de Wet College voor toetsen en examens. Het CvTE betrekt bij zijn beoordeling niet of de aanbieder voldoet aan andere wet- en regelgeving zoals die geldt voor het gebruik van intellectueel eigendom of die geldt op grond van de Artificial Intelligence-verordening.

1.4. Wat minimaal aan te leveren bij een indiening?

Het CvTE controleert of alle gegevens en bescheiden als bedoeld in de paragrafen 1.4.1 t/m 1.4.2 en eventueel paragrafen 1.4.3 t/m 1.4.4 zijn aangeleverd bij het indienen van de aanvraag. Indien dit het geval is, zal de adviseur worden ingeschakeld voor het opstellen van een advies op basis van de kwaliteitseisen in hoofdstuk 3, 4 en 5. De adviseur kan vaststellen dat hij nog informatie mist om de aanvraag te kunnen beoordelen. Het CvTE zal dan vragen aan de aanbieder het gebrek in de aanvraag (alsnog) te herstellen. Het CvTE kan dan de indiening buiten behandeling laten als de toetsaanbieder het gebrek in de aanvraag binnen de termijn die hij hiervoor krijgt niet herstelt.

1.4.1. Aan te leveren documentatie

1.4 Het aanleveren van items

Een aanbieder heeft de mogelijkheid om voor verschillende wijzen van afname (bijv. digitaal en papier) een erkenning of vaststelling aan te vragen (naast de optie om verschillende wijzen van afname in één aanvraag in te dienen bij het CvTE). Indien een aanbieder hiervoor kiest, moet de aanbieder ook daadwerkelijk meerdere aanvragen in te dienen, in separate mappen op de terminal server, met separaat ingevulde leeswijzers. Allebei de aanvragen krijgen dan ook separaat een erkenning of vaststelling. Deze aanvragen moeten volledig onafhankelijk van elkaar kunnen worden beoordeeld. Dat wil zeggen dat de ene afnamemodus bijvoorbeeld niet de terugvaloptie kan zijn van de andere afnamemodus. Dit zou namelijk betekenen dat als de ene afnamemodus niet wordt erkend of vastgesteld, dit ervoor zorgt dat door de afhankelijkheid de andere afnamemodus ook niet kan worden erkend of vastgesteld.

In het geval van een lineaire digitale toets:

3.2. Inhoudsvaliditeit doorstroomtoets

In het geval van een papieren toets:

In het geval van een lineaire digitale toets:

In het geval van een MST:

In het geval van een CAT:

In het geval van aparte varianten van de doorstroomtoets voor leerlingen met specifieke ondersteuningsbehoeften:

Toelichting V3:Een adviseur evalueert in opdracht van het CvTE of de toetsopgaven van in ieder geval de wettelijk verplichte domeinen van Nederlandse taal en rekenen én de optionele domeinen van Nederlandse taal in de toets voldoen aan de constructievoorschriften voor toetsvragen, zoals beschreven in de Checklist voor het beoordelen van de kwaliteit van observatie-categorieën en toetsopgaven.

Het aanleveren van data t.b.v. de landelijke normering is alleen van toepassing voor al eerder afgenomen doorstroomtoetsen. De aanvrager moet minimaal de data verstrekken of heeft de data al verstrekt ten behoeve van de landelijke normering zoals uiteengezet in hoofdstuk 3.2 t/m 3.2.7 van de Regeling Beoordelingsnormen Doorstroomtoetsen PO.

1.4.4. Optioneel: het aanleveren van data t.b.v. toelatings- en doorstroomonderzoek

Het aanleveren van data t.b.v. toelatings- en doorstroomonderzoek is alleen van toepassing voor al eerder afgenomen doorstroomtoetsen. De aanvrager moet minimaal de data verstrekken of heeft de data al verstrekt ten behoeve van toelatings- en doorstroomonderzoek zoals uiteengezet in hoofdstuk 5.1 t/m 5.4.2 van de Regeling Beoordelingsnormen Doorstroomtoetsen PO.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, dienen alle vragen met JA te worden beantwoord.

Het beoordelingsformat bevat de volgende drie inhoudelijke onderdelen, die enkele onderliggende thema’s bevatten:

Toelichting V2: De toetsmatrijs is voor wat betreft het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal een adequate representatie van het meetdoel. Dat betekent eveneens dat er via de toetsmatrijs wordt voldaan aan de eisen uit de Toetswijzer PO.

3.1. Inleiding

In de volgende paragrafen worden de vakinhoudelijke kwaliteitseisen uitgewerkt voor de wettelijk verplichte domeinen Lezen en Begrippenlijst en Taalverzorging, daaronder niet begrepen het subdomein Begrippenlijst, van het terrein Nederlandse taal en de wettelijk verplichte domeinen Getallen, Verhoudingen, Meten en Meetkunde en Verbanden van het terrein Rekenen én de optionele domeinen Schrijven en Mondelinge taalvaardigheid en het eveneens optionele subdomein Begrippenlijst van het terrein Nederlandse taal, in lijn met het Toetsbesluit PO, de Wet doorstroomtoetsen po en zoals vastgesteld in het Besluit referentieniveaus Nederlandse taal en Rekenen. Voor alle wettelijk verplichte en optionele (sub)domeinen zijn in deze regeling kwaliteitseisen geformuleerd.

3.4.1. Wettelijk verplicht domein: Lezen

Toelichting V4: De constructievoorschriften voor toetsvragen staan beschreven in de Checklist voor het beoordelen van de kwaliteit van observatie-categorieën en toetsopgaven. Alle toetsopgaven dienen hieraan te voldoen – inclusief eventuele zaai-opgaven – van in ieder geval het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal.

A. Subdomein Zakelijke Teksten

Toelichting V1: De toetsmatrijs is voor wat betreft het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal een adequate representatie van het meetdoel. Dat betekent eveneens dat er via de toetsmatrijs wordt voldaan aan de eisen uit de Toetswijzer PO.

Er is sprake van een adequate representatie wanneer de toetstermen het meetdoel representeren. Dit blijkt uit het gegeven dat:

Toelichting V2: In de Checklist voor het beoordelen van de kwaliteit van observatie-categorieën en toetsopgaven staan de constructievoorschriften voor toetsvragen en de vijf kwaliteitscriteria (relevantie, objectiviteit, efficiëntie, specificiteit en neutraliteit) beschreven. De toetsopgaven moeten hieraan voldoen – inclusief eventuele zaai-opgaven – van in ieder geval het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal. Indien in de doorstroomtoets ook optionele productieve vaardigheden worden getoetst, levert de aanbieder een beoordelaarsschema in, aangevuld met informatie over de beoordelaarsovereenstemming.

In het geval een item niet voldoet aan de kwaliteitscriteria voor inhoudsvaliditeit, moet het betreffende item te worden verwijderd of vervangen. Indien de adviseur twijfelt over de mate waarin een item voldoet aan de kwaliteitscriteria, wordt de aanbieder verzocht om te reflecteren op de kwaliteit. Daarnaast moet de aanbieder beargumenteren door middel van een inhoudelijke en psychometrische onderbouwing waarom de toetsopgave wel óf niet volledig voldoet aan de kwaliteitscriteria. Dit kan resulteren in één van de volgende opties:

Indien een opgave op basis van punt 2 of 3 wordt behouden, moet deze toetsopgave bij de afname gemonitord te worden door de toetsaanbieder. Na de operationele afname analyseert de toetsaanbieder het functioneren van deze toetsopgave (KF2).

In iedere doorstroomtoets worden voor wat betreft het terrein Nederlandse taal de wettelijk verplichte domeinen Lezen (§ 3.4.1) en Begrippenlijst en Taalverzorging, daaronder niet begrepen het subdomein Begrippenlijst, (§ 3.4.2) getoetst. Aanvullend hierop kunnen optioneel één of meerdere van de domeinen Schrijven (§ 3.4.3) en Mondelinge taalvaardigheid (§ 3.4.4) en het subdomein Begrippenlijst (§ 3.4.5) worden getoetst. De gestelde vakinhoudelijke kwaliteitseisen voor deze vijf onderdelen en de vereiste verdeling van de toetsopgaven over de (sub)domeinen in de toetsmatrijs en de toetssamenstelling zijn opgenomen in de Toetswijzer PO.

3.4.1. Wettelijk verplicht domein: Lezen

Beslisregel:

Beslisregel:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

Taken:

Relatieve verdeling:

Toelichting RL1 t/m RL7: Deze kwaliteitscriteria zijn van toepassing voor lineaire toetsen en adaptieve toetsen waarvan het aantal aangeboden toetsopgaven niet per leerling verschilt (MST). De toetsaanbieder toont aan hoe de percentages uit de kwaliteitscriteria RL1 t/m RL7 in een lineaire toets of in het geval van een MST per toetspad worden gegarandeerd.

3.4.2. Wettelijk verplicht domein: Taalverzorging

Toelichting L3.7: Evenwichtig wil zeggen dat de in L3.1 tot en met L3.5 (en eventueel L3.6) genoemde kenmerken gezamenlijk een representatieve weergave zijn van de inhoud van het betreffende subdomein van het terrein Nederlandse taal.

Taken:

Tekstkenmerken:

Kenmerken van de taakuitvoering:

Toelichting L1.1 t/m L1.3: Tenminste twee van de drie taken moeten in de doorstroomtoets worden opgenomen.

3.4.3. Optioneel domein: Schrijven

Toelichting L1 t/m L3: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010, p. 12–14) leidend.

Toelichting L6.4: Evenwichtig wil zeggen dat de in L6.1 en L6.2 (en eventueel L6.3) genoemde kenmerken gezamenlijk een representatieve weergave zijn van de inhoud van het betreffende subdomein van het terrein Nederlandse taal.

Taken:

Tekstkenmerken:

Kenmerken van de taakuitvoering:

Toelichting L6.4: Alleen van toepassing bij een digitale adaptieve toets (CAT of MST). Naast het algoritme of module-design moet de werking van de beslisregel worden aangetoond door middel van het opleveren van enkele (voorbeeld)toetspaden, zoals die door de beslisregel worden gegenereerd.

Om aan deze categorie kwaliteitseisen te voldoen, dienen de vragen TV1.1 t/m TV1.7a met JA of N.V.T. te worden beantwoord.

Beslisregel:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

Relatieve verdeling en verschillende categorieën:

Toelichting TV1 t/m TV4: Deze kwaliteitscriteria zijn van toepassing voor lineaire toetsen en adaptieve toetsen waarvan het aantal aangeboden toetsopgaven niet per leerling verschilt (MST). De toetsaanbieder toont aan hoe de percentages uit de kwaliteitscriteria TV1 t/m TV4 in een lineaire toets of in het geval van een MST per toetspad worden gegarandeerd.

Toelichting TV5: Dit kwaliteitscriterium is van toepassing op adaptieve toetsen waarvan het aantal aangeboden toetsopgaven per leerling verschilt (CAT). Voor deze adaptieve toetsen zijn de genoemde percentages uit kwaliteitscriteria TV1 t/m TV4 niet te garanderen voor elke leerling. De toetsaanbieder verantwoordt daarom adequaat hoe deze toch streeft voor elke leerling de percentages uit de kwaliteitscriteria TV1 t/m TV4 te bewerkstelligen. En ook uitgebreid in te gaan en te reflecteren op mogelijk situaties – in toetspaden – waarin deze percentages niet aan een leerling worden aangeboden.

3.4.4. Optioneel domein: Mondelinge taalvaardigheid

3.3.3. Optioneel domein: Schrijven

A. Subdomein Gesprekken

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

Taken:

Kenmerken van de taakuitvoering:

Toelichting S1 en S2: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Beslisregel schrijven directe meting:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

3.4.4. Optioneel domein: Mondelinge taalvaardigheid

Kenmerken van de taakuitvoering:

Toelichting S3.1 t/m S3.3: Minimaal één taak per categorie in de doorstroomtoets moet worden opgenomen.

Toelichting S3 en S4: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Kenmerken van de taakuitvoering:

Toelichting M1.1 en M1.2: Tenminste één van de twee taken dient in de doorstroomtoets te worden opgenomen.

Kwaliteitseisen mondelinge taalvaardigheid via directe meting

A. Subdomein Gesprekken

Taken:

Kenmerken van de taakuitvoering:

Toelichting M1.1 en M1.2: Tenminste één van de twee taken moet in de doorstroomtoets worden opgenomen.

Toelichting M1 en m2: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Beslisregel mondelinge taalvaardigheid indirecte meting, subdomein Spreken:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

B. Subdomein Luisteren

Kenmerken van de taakuitvoering:

Toelichting M3 en M4: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Toelichting M5 en M6: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Beslisregel mondelinge taalvaardigheid directe meting, subdomein Gesprekken:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

Taken:

C. Subdomein Spreken

Toelichting M5.1 en M5.2: Tenminste één van de twee taken moet in de doorstroomtoets zijn opgenomen.

Toelichting M5 en M6: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Beslisregel mondelinge taalvaardigheid directe meting, subdomein Luisteren:

Om aan deze categorie kwaliteitseisen te voldoen, gelden de volgende beslisregels:

Taken:

3.4.5. Optioneel domein: Begrippenlijst

Toelichting M7.1 t/m M7.3: Twee van de drie taken moeten in de doorstroomtoets worden opgenomen.

Toelichting bij M7 en M8: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010) leidend.

Beslisregel mondelinge taalvaardigheid directe meting, subdomein Spreken:

3.5. Terrein rekenen

Taken:

Kenmerken van de taakuitvoering:

3.5.1. Verdeling toetsopgaven over domeinen in toetsmatrijs en toetssamenstelling

Een individuele rekenopgave kan betrekking hebben op meerdere domeinen van het terrein Rekenen. In dat geval dient de aanbieder dit duidelijk te vermelden, bijvoorbeeld door te kiezen voor het domein dat het beste past bij het beoogde toetsdoel van de betreffende opgave. Tevens dient de aanbieder dan toe te lichten op welke wijze er wordt voldaan aan de voorgeschreven verdeling van toetsopgaven over de domeinen van het terrein Rekenen.

Beslisregel Begrippenlijst:

Om aan deze categorie kwaliteitseis te voldoen, moet vraag B1 met JA worden beantwoord.

Toelichting B1: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010, p. 17–19) leidend.

3.4. Terrein Rekenen

Het Referentiekader onderscheidt voor het terrein Rekenen vier wettelijk verplichte domeinen, te weten Getallen (g), Verhoudingen (vh), Meten en meetkunde (m/mk) en Verbanden (vb). In de doorstroomtoets moeten alle domeinen getoetst worden. Dit betekent dat alle doorstroomtoetsen moeten voldoen aan de gestelde kwaliteitseisen aan het terrein Rekenen. De gestelde vakinhoudelijke kwaliteitseisen voor deze vier domeinen en de vereiste verdeling van de toetsopgaven over de domeinen in de toetsmatrijs en de toetssamenstelling zijn opgenomen in de Toetswijzer PO.

Een individuele rekenopgave kan betrekking hebben op meerdere domeinen van het terrein Rekenen. In dat geval moet de aanbieder dit duidelijk vermelden, bijvoorbeeld door te kiezen voor het domein dat het beste past bij het beoogde toetsdoel van de betreffende opgave. Tevens moet de aanbieder dan toelichten op welke wijze er wordt voldaan aan de voorgeschreven verdeling van toetsopgaven over de domeinen van het terrein Rekenen.

Toelichting B1: Hierbij zijn de beschrijvingen op niveau 1F en 2F in het Referentiekader (2010, p. 17-19) leidend.

De doorstroomtoets bevat opgaven uit alle domeinen uit het referentiekader Rekenen. Het betreft de domeinen Getallen (g), Verhoudingen (vh), Meten en meetkunde (m/mk) en Verbanden (vb).

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

De opgaven moeten in de toets als volgt over de domeinen zijn verdeeld:

Toelichting D.G t/m D.Vb: De gestelde percentages toetsopgaven per domein gelden voor zowel papieren toetsen, lineaire digitale toetsen, adaptieve toetsen op itemniveau (CAT) en adaptieve toetsen op moduleniveau (MST).

3.5.3. Opgaven met en zonder context

Toelichting O.A: De toetsopgaven die onder onderdeel A geplaatst zijn, kunnen ook worden gebruikt en toegepast bij de inhouden van B en C. Vandaar dat hier de uitzondering van het slechts plaatsen bij één onderdeel niet geldt en er ook geen percentage vereist wordt.

Elk domein is opgebouwd uit drie onderdelen (zie hiervoor ook de Toetswijzer PO):

De toets bevat opgaven uit alle onderdelen.

3.5.3. Opgaven met en zonder context

De relatieve (procentuele) verdeling van opgaven over de onderscheiden onderdelen is als volgt:

3.5.5. Gebruik rekenmachine

Toelichting O.A t/m O.C: De gestelde percentages toetsopgaven per domein gelden voor zowel papieren toetsen, lineaire digitale toetsen, computergestuurde adaptieve toetsen op itemniveau (CAT) en adaptieve toetsen op moduleniveau (MST).

Toelichting O.D: Alleen van toepassing bij een digitale adaptieve toets (CAT of MST). Naast het algoritme of module-design moet de werking van de beslisregel worden aangetoond door middel van het opleveren van enkele (voorbeeld)toetspaden die voldoen aan de vereiste verdeling van toetsopgaven over de onderdelen, zoals die door de beslisregel worden gegenereerd.

De relatieve (procentuele) verdeling1Gebruik hierbij checklist 2. van opgaven over de onderscheiden onderdelen is als volgt:

In het terrein Rekenen van een doorstroomtoets moeten zowel opgaven met context als opgaven zonder context (zogenoemde ‘kale opgaven’) worden opgenomen.

3.5.5. Gebruik rekenmachine

Toelichting C1 t/m C2: De gestelde percentages toetsopgaven gelden voor zowel papieren toetsen, lineaire digitale toetsen, computergestuurde adaptieve toetsen op itemniveau (CAT) en adaptieve toetsen op moduleniveau (MST).

Toelichting C3: Alleen van toepassing bij een digitale adaptieve toets (CAT of MST). Naast het algoritme of module-design moet de werking van de beslisregel worden aangetoond door middel van het opleveren van enkele (voorbeeld)toetspaden met de vereiste percentuele verdelingen zoals in C1 t/m C2 geschetst, zoals die door de beslisregel worden gegenereerd.

Dit betekent dat, in lijn met de Toetswijzer PO, de doorstroomtoets, ongeacht de toetsvorm, voor de terreinen Nederlandse taal en rekenen toetsopgaven moet bevatten die de inhouden van de niveaus 1F (fundamentele kwaliteit) en 2F / 1S (streefkwaliteit) meten.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA worden beantwoord.

Voor Nederlandse taal zijn vier niveaus beschreven: 1F, 2F, 3F en 4F en voor Rekenen zijn zes niveaus beschreven: 1F, 2F, 3F en 1S, 2S en 3S. Voor het po zijn voor het terrein Nederlandse taal de niveaus 1F en 2F wettelijk vastgelegd. Voor het terrein Rekenen zijn dit voor het po de niveaus 1F en 1S.

Beslisregel: Om aan deze categorie kwaliteitseis te voldoen, moet deze vraag met JA worden beantwoord.

Toelichting: Gebruik van een niet-grafische en/of niet-programmeerbare rekenmachine is bij maximaal 20% van de toetsopgaven toegestaan. Gebruik van een grafische en/of programmeerbare rekenmachine is niet toegestaan.

3.5. Toetsopgaven Nederlandse taal en Rekenen op niveau 1F en 2F/1S

4.1. Leerlingrapport

Voor Nederlandse taal zijn vier niveaus beschreven: 1F, 2F, 3F en 4F en voor Rekenen zijn zes niveaus beschreven: 1F, 2F, 3F en 1S, 2S en 3S. Voor het po zijn voor het terrein Nederlandse taal de niveaus 1F en 2F wettelijk vastgelegd. Voor het terrein Rekenen zijn dit voor het po de niveaus 1F en 1S.

Dit betekent dat, in lijn met de Toetswijzer PO, de doorstroomtoets, ongeacht de toetsvorm, voor de terreinen Nederlandse taal en Rekenen toetsopgaven moet bevatten die de inhouden van de niveaus 1F (fundamentele kwaliteit) en 2F/1S (streefkwaliteit) meten.

Beslisregel: Om aan deze categorie kwaliteitseis te voldoen, moet vraag TN1 met JA worden beantwoord.

Toelichting TN1: Dit aspect moet uit de toetsmatrijs naar voren komen. Dat wil zeggen dat in de toetsmatrijs de verhouding 1F en 2F/1S vragen is gespecificeerd en dat in zowel de toetsmatrijs als in de varianten van de doorstroomtoets de verhouding 1F en 2F/1S vragen evenwichtig is. Evenwichtig wil zeggen dat het aantal en de verhouding 1F en 2F/1S vragen gezamenlijk inhoudelijk de referentieniveaus 1F en 2F/1S van de terreinen Nederlandse taal en Rekenen representeren, een en ander conform de voorschriften uit de Toetswijzer PO.

Een CAT moet voor elke individuele leerling voor de terreinen Nederlandse taal en Rekenen een uitspraak over het behaalde niveau 1F en/of 2F/1S geven. In het geval van een CAT is er verantwoord hoe het 1F en/of 2F/1S niveau van de terreinen Nederlandse taal en Rekenen op representatieve wijze voor alle individuele leerlingen aan bod komt. De aanbieder kan dit verantwoorden aan de hand van de toetsmatrijs, aangevuld met de procesbeschrijving van hoe het algoritme werkt, aangevuld met enkele mogelijke itemsets inclusief de daarin aangeboden toetsopgaven en inclusief een toelichting op het daarbij geldende stopcriterium.

Elke routing binnen het MST design moet voor de terreinen Nederlandse taal en Rekenen een uitspraak over het behaalde niveau 1F en/of 2F/1S geven. In het geval van een MST is er verantwoord hoe het 1F en/of 2F/1S niveau van de terreinen Nederlandse taal en Rekenen op een bij de moeilijkheidsgraad van de betreffende route passende wijze voor alle individuele leerlingen aan bod komt. De aanbieder kan dit verantwoorden aan de hand van de toetsmatrijs, aangevuld met de beschrijving van de samenstelling van het MST design, aangevuld met enkele toetspaden uit het design inclusief de daarin aangeboden toetsopgaven.

Toelichting LR3: In het leerlingrapport moet aangegeven zijn op welk referentieniveau de leerling gepresteerd heeft op het domein Lezen. In het leerlingrapport moet in ieder geval aangegeven worden in welk van de volgende drie categorieën de leerlingprestatie past: onder niveau 1F, op niveau 1F, of op streefniveau 2F. Hoewel in de theorie de categorieën elkaar niet uitsluiten, en de leerling ook op een hoger niveau zou kunnen presteren dan het maximaal gegeven niveau, is in deze regeling vastgesteld dat in de rapportage een leerlingprestatie in één (niet meer en niet minder) van deze drie categorieën geclassificeerd wordt.

4.1. Leerlingrapport

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

Toelichting LR1: De toetsaanbieder geeft één of meerdere (model)rapportages ter beoordeling. Wanneer er meer dan één variant van het leerlingrapport bestaat, moeten al deze varianten aangeboden worden, met een uitleg wanneer welke variant wordt gebruikt. Aangezien alle varianten aan de eisen moeten voldoen, worden alle voorbeeldrapporten beoordeeld op de kwaliteitseisen LR2 tot en met LR6. Mochten er rapporten ontbreken (d.w.z. LR1 = nee), dan krijgt de toetsaanbieder een onvoldoende voor ‘leerlingrapport’. Wanneer het leerlingrapport wel wordt aangeboden, worden de kwaliteitseisen LR2 tot en met LR6 beoordeeld op basis van die versie(s) van het leerlingrapport.

Toelichting LR2: De toetsaanbieder moet in het leerlingrapport een toetsadvies geven. De aanbieder hanteert hierbij de door de Rijksoverheid vastgestelde toetsadviescategorieën. Dit toetsadvies is gebaseerd op in ieder geval de resultaten van het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen. Aanvullend mag de toetsaanbieder in de bepaling van het toetsadvies ook één of meerdere van de optionele (sub)domeinen van Nederlandse taal meenemen die in dit kader in Hoofdstuk 3 beschreven zijn. In de wetenschappelijke verantwoording moet zijn aangegeven op basis van metingen van welke (sub)domeinen het toetsadvies tot stand is gekomen.

Toelichting LR3: In het leerlingrapport moet aangegeven zijn op welk referentieniveau de leerling gepresteerd heeft op het domein Lezen. In het leerlingrapport moet in ieder geval aangegeven worden in welk van de volgende drie categorieën de leerlingprestatie past: onder niveau 1F, op niveau 1F, of op streefniveau 2F. Hoewel in de theorie de categorieën elkaar niet uitsluiten, en de leerling ook op een hoger niveau zou kunnen presteren dan het maximaal gegeven niveau, is in deze regeling vastgesteld dat in de rapportage een leerlingprestatie in één (niet meer en niet minder) van deze drie categorieën geclassificeerd wordt.

Toelichting LR4: In het leerlingrapport moet aangegeven zijn op welk referentieniveau de leerling gepresteerd heeft op het subdomein Taalverzorging. In het leerlingrapport moet in ieder geval aangegeven worden in welk van de volgende drie categorieën de leerlingprestatie past: onder niveau 1F, op niveau 1F, of op streefniveau 2F. Hoewel in de theorie de categorieën elkaar niet uitsluiten, en de leerling ook op een hoger niveau zou kunnen presteren dan het maximaal gegeven niveau, is in deze regeling vastgesteld dat in de rapportage een leerlingprestatie in één (niet meer en niet minder) van deze drie categorieën geclassificeerd wordt.

Toelichting LR5: In het leerlingrapport moet aangegeven zijn op welk referentieniveau de leerling gepresteerd heeft op het terrein Rekenen. In het leerlingrapport moet in ieder geval aangegeven worden in welk van de volgende drie categorieën de leerlingprestatie past: onder niveau 1F, op niveau 1F, of op streefniveau 1S. Hoewel in de theorie de categorieën elkaar niet uitsluiten, en de leerling ook op een hoger niveau zou kunnen presteren dan het maximaal gegeven niveau, is in deze regeling vastgesteld dat in de rapportage een leerlingprestatie in één (niet meer en niet minder) van deze drie categorieën geclassificeerd wordt.

Toelichting LR6: Bij het rapport moet een toegankelijke toelichting worden geboden, waarin begrijpelijke handvatten gegeven worden voor de interpretatie van het toetsadvies en de beheersing van de referentieniveaus van de leerling door diverse betrokkenen. De aanbieder toont aan dat de rapportage begrijpelijk is voor verschillende doelgroepen, te weten leerlingen, ouders, verzorgers, voogden en afnemers.

Toelichting LR7: Deze kwaliteitseis is niet van toepassing als er naast het leerlingrapport geen andere rapporten worden uitgegeven en/of het leerlingrapport geen aanvullende, niet verplichte, gegevens vermeldt. De kwaliteitseis is van toepassing als de toetsaanbieder één of meerdere (model)rapportages zoals bijvoorbeeld een groepsrapportage, schoolrapportage of bovenschoolse rapportage uitgeeft. Bij de uitgegeven rapporten moet een toegankelijke toelichting worden geboden aan de beoogde gebruiker, waarin begrijpelijke handvatten gegeven worden voor de interpretatie van gerapporteerde gegevens. De aanbieder toont aan dat de rapportage begrijpelijk is voor verschillende doelgroepen, te weten leerkrachten, intern begeleiders, en directeuren of vertegenwoordigers van schoolbesturen of samenwerkingsverbanden.

Waar de bovengenoemde standaard onvoldoende tegemoet komt aan de doelgroepen genoemd onder LL1.a t/m LL1.g is aantoonbaar geprobeerd de belemmeringen die deze leerlingen ervaren bij het maken van de toets weg te nemen door de mogelijkheid tot inzet van hulpmiddelen of ondersteuning, aanpassing van de afnamecondities of door het aanbieden van aangepaste versies.

De doorstroomtoets is in principe geschikt voor alle leerlingen, ook voor leerlingen met een specifieke ondersteuningsbehoefte, met uitzondering van leerlingen die onder de ontheffingsgronden vallen.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA worden beantwoord. In de toelichting wordt bij enkele kwaliteitseisen aangegeven waar een doorverwijzing naar www.Rijksoverheid.nl voor een toets van een aanbieder die voorziet in die behoefte voldoende kan zijn.

Toelichting LL1: Er is automatisch voldaan aan kwaliteitseis LL1 wanneer is voldaan aan de kwaliteitseisen LL1a t/m LL1g.

Dit houdt het volgende in:

Waar de bovengenoemde standaard onvoldoende tegemoet komt aan de doelgroepen genoemd onder LL1.a t/m LL1.g is aantoonbaar geprobeerd de belemmeringen die deze leerlingen ervaren bij het maken van de toets weg te nemen door de mogelijkheid tot inzet van hulpmiddelen of ondersteuning, aanpassing van de afnamecondities of door het aanbieden van aangepaste versies.

Toelichting LL1.a: De toets wordt door de aanbieder (op bestelling) geleverd in een format dat zich leent voor de hulpmiddelen die door leerlingen met een visuele beperking worden gebruikt en met inachtneming van de toetseisen inhoudelijk geschikt zijn gemaakt voor de leerlingen met een visuele beperking. De toetsaanbieder specificeert dit per type visuele beperking (kleurenblind, slechtziend, blind).

Bij de constructie van de toets is rekening gehouden met leerlingen die volledig kleurenblind zijn. Dit kan onder andere door kleurgebruik alleen ondersteunend te laten zijn. Daarnaast is er bijvoorbeeld de mogelijkheid tot het aanbieden van een zwart/wit-variant. Relevant voor de normering is dat de aanbieder er rekening mee houdt dat het ontbreken van een kleuren(afbeelding) geen invloed heeft op de moeilijkheid van het item. Dit houdt in dat de inhoud en de structuur van het item duidelijk en begrijpelijk moeten zijn, ongeacht het gebruik van kleur.

Bij twijfel mag de leerling gebruik maken van de volgende procedure: voor kleurenblinde leerlingen kan een opzoekhulp worden ingezet die op verzoek van de leerling de kleur van een door de leerling aangewezen vlakdeel benoemt, of een door de leerling aangewezen kleur aanwijst in toets of hulpmiddel.

Aanbieders houden bij het maken van de toets rekening met (digitale) toegankelijkheid voor leerlingen met een visuele beperking, middels bijvoorbeeld contrast, mogelijkheid tot inzoomen en mogelijkheid tot het gebruik van hulpmiddelen, waaronder audio-ondersteuning en gebruik van een brailleleesregel

4.3. Afname doorstroomtoets

Het aanbieden van een brailleversie van de doorstroomtoets is facultatief. Wel moeten toetsaanbieders leerlingen met die behoefte in de verantwoordingsdocumenten en handleiding voor de afnemer doorverwijzen naar www.Rijksoverheid.nl voor een toets van een aanbieder die voorziet in die behoefte.

Afwijkende beoordeling calamiteitentoets: Van de calamiteitentoets moet een versie beschikbaar zijn in braille, in zwart-wit en voorzien zijn van een vorm van audio-ondersteuning om te voldoen aan LL1.a.

Toelichting LL1.b: De aanbieder levert bijvoorbeeld (op bestelling) een aangepaste toets indien de toets gebruikmaakt van functioneel geluid (zoals bijvoorbeeld bij dictee-opgaven). Indien een aanbieder hier niet in kan voorzien, moet deze de school in de verantwoordingsdocumenten en handleiding voor de afnemer verwijzen naar www.Rijksoverheid.nl waar is aangegeven welke toets van welke aanbieder voorziet in die behoefte.

Toelichting LL1.c: De aanbieder geeft aan hoe rekening is gehouden met leerlingen met een taalontwikkelingsstoornis (TOS). Hierbij kan gedacht worden aan de mogelijkheid tot het inzetten van de voorleesfunctie en mogelijke aanpassingen in de afnamecondities, zoals het werken met een afdekblad en het markeren van tekst.

4.4. Beveiligingsaspecten

Als een leerling door dyslexie moeite heeft met het lezen van teksten op beeldscherm, moet de leerling gebruik kunnen maken van een door de aanbieder geleverde voorleesfunctie. Bij een papieren versie moet de aanbieder (op vraag) een versie leveren die geschikt is voor voorleessoftware. De wijze waarop kan per toets(soort) verschillen.

Andere voorbeelden van hulpmiddelen ter ondersteuning van deze doelgroep zijn de beschikbaarheid van een zoomfunctie en een markeerstift.

Toelichting bij LL1.e: Voor leerlingen met dyscalculie wordt geen aangepaste toets geleverd.

In de afnamecondities kan (bijvoorbeeld door in de planning meer pauzes of spreiding van de toetsmomenten op te nemen) rekening worden gehouden met deze ondersteuningsbehoefte. De aanbieder benoemt de eventuele mogelijkheden in diens verantwoordingsdocumenten. Indien de aanbieder het gebruik van een rekenkaart als hulpmiddel toestaat, moet de aanbieder verantwoorden hoe dit hulpmiddel de toetsdoelstellingen beïnvloedt. Daarbij wordt toegelicht welke impact op de toetsresultaten verwacht wordt bij gebruik van de rekenkaart en onder welke voorwaarden deze tijdens de toets gebruikt mag worden.

Toelichting bij LL1.f: De aanbieder beschrijft hoe de toets toegankelijk is gemaakt voor leerlingen met motorische beperkingen. Digitale toetsen moeten afgenomen kunnen worden met alleen het toetsenbord in plaats van met de muis en bij schriftelijke toetsen moet de mogelijkheid geboden worden tot het typen van antwoorden op een antwoordblad. Indien het niet mogelijk is de toets volledig toetsenbordbedienbaar te maken, beargumenteert de aanbieder waarom dit niet mogelijk is. Indien het voor een leerling desondanks niet mogelijk is de fysieke handelingen uit te voeren die nodig zijn om de toets te maken, wordt in de handleiding beschreven dat de leerling dan gebruik kan maken van een hulp ter ondersteuning, zoals een schrijfhulp, die antwoorden noteert op aanwijzing van de leerling.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis LL1.f is niet van toepassing voor de calamiteitentoets.

5. Psychometrische aspecten

5.1. Inleiding

Toelichting LL2: De vorm van de ondersteuning staat beschreven in de handleiding en/of toetsreglement, waaronder de wijze waarop rekening gehouden wordt met doelgroepen in de itemconstructie, door het aanbod van varianten van de toets, de beschikbaarheid van hulpmiddelen en/of via de afnamecondities.

De aanbieder schrijft voor dat bij alle toets(vorm)en alle onderdelen de hulpmiddelen zijn toegestaan binnen de gegeven kaders van de vigerende regelingen. In de Toetswijzer PO staat van een aantal hulpmiddelen voorgeschreven dat deze altijd zijn toegestaan of wanneer al dan niet deze zijn toegestaan. Aanvullend kan een aanbieder andere hulpmiddelen toestaan.

De aanbieder wijst de afnemer er in de handleiding en/of toetsreglement op dat er geen tijdslimiet bestaat en dat de afnemer zelf kan besluiten wat een passende afnameduur (spreiding van de toetsonderdelen over de dag, pauzes e.d.) is bij leerlingen met ondersteuningsbehoeften. Daarnaast wijst de aanbieder de afnemer op de mogelijkheid van de voorleesfunctie voor alle leerlingen die op basis van hun ondersteuningsbehoefte hier gebruik van moeten kunnen maken.

4.3. Afname doorstroomtoets

Toelichting LL2.b: De aanbieder geeft aan welke aanpassingen in de afnamecondities mogelijk zijn en beschrijft hier ten minste de mogelijkheden voor het bieden van voldoende tijd (langer dan de gegeven tijdsindicatie), de inzet van pauzes en de mogelijkheid tot individuele afname. Voor veel aanpassingen in de afnamecondities geldt dat deze voor alle leerlingen ingezet zouden kunnen worden. Voor leerlingen met ondersteuningsbehoeften vragen deze afnamecondities echter extra aandacht. De aanbieder beschrijft de mogelijke aanpassingen in de handleiding voor de afnemer en/of toetsreglement en wijst de afnemer erop dat de afnamecondities voor leerlingen met ondersteuningsbehoeften extra aandacht vragen.

Toelichting LL2.c: Wanneer een leerling aantoonbaar niet in de gelegenheid is om de toets op school te maken, kan de toets op een andere locatie worden afgenomen. Denk hierbij aan leerlingen die in het ziekenhuis liggen, of thuiszittende leerlingen. De aanbieder beschrijft in de handleiding welke (technische) randvoorwaarden hieraan verbonden zijn en hoe de school afname op een andere locatie kan organiseren.

5.2.1. Steekproefkader en samenstelling steekproef

Afwijkende beoordeling calamiteitentoets: kwaliteitseis A1 is niet van toepassing voor de calamiteitentoets.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

Toelichting A1: In het toetsreglement en/of de afnamehandleiding is beschreven hoe leerlingen, die bij de eerste afname waren verhinderd, alsnog bij een tweede afnamemoment binnen de wettelijk gestelde termijn een doorstroomtoets kunnen maken.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis A1 is niet van toepassing voor de calamiteitentoets.

Toelichting A2.1 t/m A2.7:

In het toetsreglement en/of de afnamehandleiding is de volgende informatie gegeven:

Bij het evalueren van deze vragen kijkt de adviseur niet alleen of deze informatie er is, maar ook of deze duidelijk is en geen tegenstrijdigheden bevat. Mocht achteraf blijken dat in de praktijk de door de aanbieders verstrekte informatie en communicatie dusdanig verwarrend en/of tegenstrijdig zijn dat dit een negatieve impact heeft op de afname en/of de resultaten van de leerlingen, dan kan dit in de jaarlijkse evaluatie van de toets een negatief oordeel opleveren.

Toelichting A3: Staat in het toetsreglement en/of de afnamehandleiding vermeld op welke wijze de afnamecondities moeten bijdragen aan optimale prestaties van de leerlingen? Denk aan voldoende tijd om de toets te kunnen maken en een goede voorbereiding van leerlingen op de afname van de toets.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, dienen alle vragen met JA of N.V.T. te worden beantwoord.

Indien de aanbieder ISO 27001 is gecertificeerd, volstaat het om dit certificaat inclusief een verklaring van toepasbaarheid (c.q. de scope van het certificaat) aan te leveren. Indien voorgaande wordt aangeleverd zijn kwaliteitseisen RB1 t/m RB5 alvast voldoende verantwoord.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

Toelichting RB1 t/m RB5: De aanbieder moet overzichtelijk per kwaliteitseis aangeven hoe daar aan is voldaan. Een voorbeeld daarvan is de verwijzing naar een verwerkersovereenkomst, waar op de kwaliteitseisen RB1 t/m RB5 wordt ingegaan. Daarbij moet bewijslast worden overlegd van de bij BI.2, BI.3 en BI.4 gevraagde documenten, processen, contracten en protocollen.

De verantwoordelijkheid voor het goed gebruik van de toets en de daarmee verzamelde informatie in de dagelijkse praktijk ligt bij de school / de eindgebruiker zelf.

Toelichting RB6: De toetsaanbieder beschrijft helder hoe een leerling tijdens een tweede afnamemoment (omdat die bij de eerste afname was verhinderd) binnen de wettelijke gestelde termijn alsnog de toets kan maken. De toetsaanbieder vermeldt daarnaast adequaat hoe eventueel deze toets verschilt van de toets van het eerste afnamemoment en waarom de toetsaanbieder hiervoor wel/niet kiest. Dit is informatie die niet per se in het toetsreglement en/of de afnamehandleiding wordt opgenomen en daarom extra is voor de adviseur t.o.v. de verantwoording van kwaliteitseis A1.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis RB6 is niet van toepassing voor de calamiteitentoets.

Toelichting RB7.1: Het doel van de terugvaloptie is dat in het geval van een incident of onregelmatigheid de toetsaanbieder tijdig een toetsversie beschikbaar heeft zodat de leerling toch een doorstroomtoets van de initiële toetsaanbieder kan afnemen tijdens de afname- of inhaalperiode.

De toetsaanbieder beschrijft in een bijbehorend calamiteitenplan de procedure ter voorbereiding op incidenten en calamiteiten. Hierin moet in ieder geval vastgelegd worden hoe de door de aanbieder geboden terugvaloptie van de doorstroomtoets eruitziet: bijvoorbeeld een itembank waaruit kan worden gekozen voor verschillende digitale versies of verschillende versies van een papieren toets. Ook moet het risico dat iteminhoud openbaar komt worden afgedekt.

Toetsaanbieders zijn bovendien zelf verantwoordelijk voor het in de gaten houden van signalen vanuit scholen, het onderwijsveld en sociale media dat hun doorstroomtoets mogelijk niet aan de voorwaarden voor doorgang vinden voldoet.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis RB7.1 is niet van toepassing voor de calamiteitentoets.

Toelichting RB7.2: De toetsaanbieder beschrijft in een calamiteitenplan hoe scholen incidenten bij de toetsaanbieder kunnen melden en welke procedures klaarliggen om hiermee om te gaan. En hoe eventuele incidenten intern beoordeeld worden. Daarbij wordt ook vermeld hoe deze meldingen gearchiveerd worden, in het kader van evaluatie (en indien mogelijk openbaarheid).

Toelichting RB7.3: De toetsaanbieder beschrijft in een calamiteitenplan hoe er richting het onderwijsveld gecommuniceerd wordt over eventuele incidenten (d.w.z. via welke kanalen en welke inhoud)?

Toelichting RB8: De toetsaanbieder beschrijft in een calamiteitenplan hoe de benodigde gegevensoverdracht wordt gerealiseerd in het geval de landelijke calamiteitentoets van het Ministerie van Onderwijs, Cultuur en Wetenschap ingezet moet worden.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis RB8 is niet van toepassing voor de calamiteitentoets.

De pretestprocedure heeft tot doel om de bruikbaarheid van items te bepalen om vervolgens vast te kunnen stellen welke items in aanmerking komen voor opname in de definitief samen te stellen varianten van de doorstroomtoets.

De pretest kan op twee manieren worden uitgevoerd:

De toetsaanbieder moet nieuw geconstrueerde items pretesten. Dit om de psychometrische kwaliteit van de items te schatten, om van daaruit te kunnen bepalen welke items mogen worden gebruikt bij de definitieve toetssamenstelling.

De psychometrische kwaliteitsbeoordeling van de doorstroomtoets door de adviseur in opdracht van het CvTE bestaat uit de volgende stappen:

In het geval van een MST, geldt dat voor wat betreft de psychometrische kwaliteitseisen uit Hoofdstuk 5 het CvTE per kwaliteitseis mag beoordelen of en welke van de eisen voor een lineaire doorstroomtoets en/of en welke van de eisen voor een computergestuurde adaptieve doorstroomtoets op itemniveau (CAT) van toepassing zijn.

5.2.2. Kalibratie en kwaliteit van items

De beantwoording van deze vraag is afhankelijk van het doel van de steekproef. Hierboven is al verwezen naar de twee scenario’s die van toepassing zijn. De vraag naar de kwaliteit van de steekproef is verder opgedeeld naar de grootte en de relevantie van de steekproef. Er is automatisch voldaan aan kwaliteitseis N1.1, wanneer is voldaan aan de kwaliteitseisen N1.1a en N1.1b.

Om nieuwe items in te kunnen zetten in een operationele afname, moeten deze eerst gepretest worden. De dataverzameling van deze nieuwe items kan twee doelen dienen:

De dataverzameling kan worden uitgevoerd aan de hand van twee scenario’s:

De pretestprocedure bestaat in beide scenario’s uit drie stappen: 1) Steekproefkader en samenstelling steekproef vaststellen (paragraaf 5.2.1), 2) Kalibratie en kwaliteit van items vaststellen met de verzamelde pretestdata (paragraaf 5.2.2), en 3) Definitieve doorstroomtoets samenstellen (paragraaf 5.2.3).

Onder scenario 2 worden de opgaven voor het eerst afgenomen direct onder operationele afnameconditie. Deze opgaven moeten van tevoren door de aanbieder zelf of het CvTE via een vroegtijdige onderwijskundige beoordeling onderwijskundig als kwalitatief voldoende beoordeeld zijn. Deze opgaven mogen zich noch onderwijskundig opzicht, noch in psychometrisch opzicht van de andere opgaven in de toets onderscheiden. Omdat leerlingen er tijd en moeite in steken is het terecht als deze items dan meetellen voor de rapportage. In dat geval kunnen deze items tijdens de campagne bijgeschaald worden (doel B).

De onderwijskundig goed geconstrueerde items worden gepretest volgens de kwaliteitseisen voor het steekproefkader en de samenstelling van de steekproef.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA worden beantwoord.

Toelichting N1: De aanbieder geeft aan via welk scenario en met welke doel de nieuwe items zijn gepretest. Vervolgens geeft de aanbieder aan door hoeveel leerlingen ieder nieuw item is gepretest. Het aantal observaties wordt als voldoende gezien wanneer ieder item door minstens 200 leerlingen gemaakt is. Uiteraard geven meer gegevens meer zekerheid. Indien doel B wordt nagestreefd moet rekening worden gehouden met het minimumaantal observaties dat per item wordt vereist voor de kalibratie na operationele afname (zie kwaliteitscriterium NR1). Het staat de aanbieder vrij om zowel de gegevens van de reguliere bo-leerlingen als de s(b)o-leerlingen te gebruiken, mits er geen sprake is van DIF (zie kwaliteitscriterium KA2).

Gekloonde opgaven zijn in beginsel nieuwe opgaven, en worden zo ook beoordeeld. Wanneer er sprake is van (zeer) kleine wijzigingen, zoals de aanpassing van een munteenheid (van euro naar dollar), of de aanpassing van een naam (bijvoorbeeld ten behoeve van inclusie), waarbij de opgave inhoudelijk hetzelfde blijft, dan kunnen dergelijke items als onveranderd gezien worden. De toetsaanbieder moet dan wel duidelijk aangeven welke (inhoudelijke) aanpassing gedaan is, bij voorkeur met een rationale waaruit blijkt waarom de aanpassing geen impact heeft.

Wanneer de gekloonde opgave in termen van relevantie en/of objectiviteit verandert ten opzichte van het originele item, dan is er wel sprake van een nieuwe opgave. Meer specifiek is er sprake van een nieuwe opgave wanneer:

Wanneer eerder al data verzameld zijn bij het item in een andere vorm moet ook bij kleine wijzigingen het gekloonde item een nieuw label krijgen.

Toelichting N2: De steekproef moet relevant zijn voor de toepassing. In het geval van scenario 1 geldt dat aan de volgende zes voorwaarden moet worden voldaan:

Als bij (3) de omstandigheden afwijken van de werkelijke afname wordt aangegeven welke impact verwacht wordt en hoe daar in de selectie van opgaven voor de operationele afname rekening mee is gehouden.

1 De mate van verstedelijking is terug te voeren op de bij het CBS gebruikelijke indeling naar vijf niveaus, namelijk zeer sterk, sterk, matig, weinig en niet verstedelijkt. De vijfdeling is hier teruggebracht naar een tweedeling in enerzijds verstedelijkt (zeer sterk en sterk) en anderzijds landelijk (matig, weinig en niet verstedelijkt). De toetsaanbieder kan ervoor kiezen om van deze indeling af te wijken, mits deze keuze is voldoende onderbouwd.

In het geval van scenario 2 moet de aanbieder aantonen dat de populatie voor de zaai-items niet structureel anders is dan de populatie van de niet-zaai-items.

Afwijkende beoordeling calamiteitentoets: De eis dat de steekproef van de pretest overeen moet komen met de populatie die de toets van de aanbieder regulier afneemt, geldt niet voor de calamiteitentoets. Voor de calamiteitentoets is ‘leerlingen uit groep 8’ de best passende operationalisering van de beoogde doelgroep.

Toelichting N3: Het afnamedesign van de pretest wordt door de aanbieder uiteengezet. Wanneer er sprake is van doel B is het van belang dat de parameters per (sub)domein op dezelfde schaal liggen. Hiervoor is het van belang dat er sprake is van een afnamedesign waarbij dit mogelijk is. Dit design wordt aangeleverd en bevat – indien van toepassing – in ieder geval informatie over:

Wanneer de pretest gedaan wordt door middel van zaai-opgaven in de afname dan wordt aangegeven hoe dat zaai-design er uitziet.

Wanneer de pretestdata zijn verzameld met een CAT is het niet zinvol om het hele onvolledige design weer te geven, omdat iedere leerling dan in principe een unieke verzameling items maakt. Het moet – indien sprake is van doel B – wel duidelijk zijn hoe deze data worden verbonden aan de landelijke schaal na kalibratie na afgelopen operationele afname.

Ook moet duidelijk zijn op welke posities de verschillende opgaven ingezet zijn, zodat door de toetsaanbieder op gedegen en complete wijze beargumenteerd kan worden op welke wijze er rekening is gehouden met vermoeidheids- en/of volgorde effecten.

Toelichting N1.2:

Na het verzamelen van de observaties voert de toetsaanbieder een kalibratie uit met de verzamelde pretestdata. In het geval dat opgaven al eerder zijn afgenomen (bij een itembank of bij pretestgegevens) kan er een schaal gekalibreerd worden die op basis van de afnamegegevens bestendigd moet worden. Op basis van de afnamegegevens kunnen de (goed functionerende) zaai-items op de schaal geplaatst worden. In de kalibratie schat de toetsaanbieder de itemparameters, zodat de kwaliteit van de gepreteste items kan worden vastgesteld.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

5.2.3. Toetssamenstelling

De toetsaanbieder verantwoordt op gedegen en complete wijze de keuze voor de geselecteerde items die in aanmerking komen voor de doorstroomtoets en waarom items die niet aan deze eisen voldoen onder gegeven omstandigheden toch zijn mee genomen.

Toelichting KA2: De toetsaanbieder beschrijft op gedegen en complete wijze hoe ze onderzoek naar DIF heeft uitgevoerd. Dit wordt gedaan door – indien van toepassing en indien voldoende observaties per categorie – een DIF-analyse op itemniveau uit te voeren ten aanzien van:

Hiervoor geldt:

De grafische weergaven en DIF-statistieken moeten aan worden geleverd voor ieder item, dus ook voor de items waarbij geen indicatie is gevonden van DIF. Wanneer een item met een indicatie van DIF desondanks wordt geselecteerd voor de operationele afname moet de aanbieder aantonen dat het verwachte effect op de behaalde referentieniveaus en behaalde toetsadviezen verwaarloosbaar is.

Toelichting KA3 (alleen van toepassing voor adaptieve toetsen): Een adaptieve toets is een toets die zich aanpast aan het individuele vaardigheidsniveau van de persoon die de toets maakt. In plaats van alle deelnemers dezelfde set vragen voor te leggen, past een adaptieve toets de complexiteit van de vragen aan op basis van de correctheid van de eerdere antwoorden van de deelnemer. Het idee hierachter is dat hierdoor een efficiënte schatting van het vaardigheidsniveau van de leerling kan worden verkregen. Derhalve moeten van dit type doorstroomtoets de beslisregels of de algoritmes voor de samenstelling van de toets zijn geëxpliciteerd.

Voor een CAT moet de toetsaanbieder op gedegen en complete wijze verantwoorden:

Voor een MST moet de toetsaanbieder op gedegen en complete wijze verantwoorden:

Naast dat de beslisregels voor de samenstelling van de toets geëxpliciteerd moeten zijn, is het belangrijk dat tevens beslisregels geëxpliciteerd zijn om dekking van het inhoudelijke domein te waarborgen per individuele afname. Dit houdt in dat indien er bijvoorbeeld vier verschillende domeinen van rekenen worden bevraagd, de beslisregels van de adaptieve toets ervoor moeten zorgen dat ook uit alle domeinen voldoende opgaven worden afgenomen.

Toelichting KA4:De schattingsfout van iedere geschatte vaardigheid moet beperkt zijn voor de nieuw in te zetten operationele toets. Het evalueren van de meetnauwkeurigheid op verschillende posities op de latente vaardigheidsschaal wordt aan de hand van onderstaande vragen beoordeeld:

Toelichting KA5: Alle psychometrische modellen werken met aannames en voorwaarden waaraan voldaan moet worden, wil het model bruikbaar zijn. Past het – voor de toetssamenstelling gebruikte model – bij de data? De aanbieder moet de itemfit grafisch onderbouwen. Daarnaast moet de aanbieder een passingsmaat hanteren en de resultaten onderbouwen.

De toetsaanbieder verantwoordt op gedegen en complete wijze de keuze voor de geselecteerde items die in aanmerking komen voor de doorstroomtoets en waarom items die niet aan deze eisen voldoen onder gegeven omstandigheden toch zijn mee genomen.

Na afronding van de kalibratie van de nieuwe items, stelt de toetsaanbieder de definitieve doorstroomtoets samen.

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

5.3. Rapportage achteraf van de kwaliteit en het functioneren van de doorstroomtoets

Toelichting T2: De door het CvTE toegewezen subset van gezamenlijke ankeritems is opgenomen in (de varianten van) de doorstroomtoets. Eventuele (minimale) aanpassingen op deze items t.o.v. het moederitem zijn alleen toegestaan met akkoord en na beoordeling van het CvTE.

De door het CvTE toegewezen subset van gezamenlijke ankeritems moet op een zodanige wijze over de toets worden verspreid, dat de positie in de toets zo min mogelijk invloed op de prestatie van de leerling heeft en de ankeritems qua lay-out en tekstuele vormgeving niet als opvallend afwijkend in de toets herkenbaar zijn, een en ander zoals gespecificeerd in de Regeling beoordelingsnormen doorstroomtoetsen PO. De aanbieder legt duidelijk uit hoe de ankeritems over de toets zijn verspreid. Omdat de vergelijkbaarheid van de ankeritems tussen verschillende toetsaanbieders gewaarborgd moet worden, is het belangrijk dat de ankeritems nagenoeg onveranderd in de toets worden opgenomen. Daarom moet de toetsaanbieder de voorgenomen veranderingen aan de ankeritems uitleggen en rechtvaardigen.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis T2 is niet van toepassing voor de calamiteitentoets.

6. Vierjaarlijkse erkenning en jaarlijkse vaststelling door het CvTE

6.1. De vierjaarlijkse erkenning

Afwijkende beoordeling calamiteitentoets: kwaliteitseis T4 is niet van toepassing voor de calamiteitentoets.

Toelichting T5 (alleen van toepassing bij al eerder erkende of vastgestelde adaptieve toetsen): In het geval van een MST of een CAT, moet er sprake zijn van een adequate jaarlijkse verversingsstrategie en moet de toets ook over de jaren voldoende worden ververst. De verversing moet op itemniveau gedocumenteerd zijn. Daarbij geldt het volgende:

6.2. De jaarlijkse vaststelling

Toelichting T6: Deze kwaliteitseis is alleen van toepassing voor een CAT.

Checklist 1 Toetsopgaven Nederlandse taal per domein en per onderdeel: formulier voor toetsontwikkelaar en expert

5.3. Normering ten behoeve van leerlingrapportage

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.

5.2.3. Toetssamenstelling

Toelichting NR2: Vanuit de landelijke normering worden aan alle aanbieders 2PL parameterschattingen geleverd. Hoe past de toetsaanbieder deze toe bij diens normering? Zodra de gehanteerde methode afwijkt van de landelijke normering zoals omschreven in de Regeling beoordelingsnormen doorstroomtoetsen PO (bijvoorbeeld een normering via een discrete (standaard)scoreschaal of verschillen in de meegekalibreerde onderwijstypen), moet de toetsaanbieder de gehanteerde normering duiden en moet de aanbieder aangeven hoe de scores op de eigen scoreschaal zijn berekend uit de latente vaardigheden op de afzonderlijke domeinen en/of uit de GLV-scores.

B. Domein Taalverzorging

Indien de aanbieder niet werkt met getransformeerde toetseigen scores is deze eis voor de betreffende aanbieder niet van toepassing.

Toelichting T2: De door het CvTE toegewezen subset van gezamenlijke ankeritems is opgenomen in (de varianten van) de doorstroomtoets. Eventuele (minimale) aanpassingen op deze items t.o.v. het moederitem zijn alleen toegestaan met akkoord en na beoordeling van het CvTE.

Checklist 1 Toetsopgaven Nederlandse taal per domein en per onderdeel: formulier voor toetsontwikkelaar en expert

A. Subdomein Zakelijke Teksten

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

Een aanbieder maakt waar mogelijk voor (zeer) slechtziende en blinde leerlingen aanvullende aanpassingen voor de toegankelijkheid van hun toets. Bijvoorbeeld door gebruik te maken van tekenboeken of het aanbieden van een braillevariant. Het uitgangspunt is dat zo min mogelijk wordt afgeweken van de reguliere toetsen. Daar waar gekozen wordt om de toets aan te passen, verantwoordt de aanbieder deze aanpassingen.

4.3. Afname doorstroomtoets

Toelichting LL1.d: De aanbieder geeft aan hoe bij de lay-out en typografie met deze doelgroep rekening wordt gehouden. Denk hierbij bijvoorbeeld aan een schreefloos lettertype met minimale puntgrootte 12, afstand tussen letters, woorden, regels en alinea’s, gebruik van witruimte en een eenduidige, rustige lay-out.

4.4. Beveiligingsaspecten

Toelichting bij LL1.g: De aanbieder toont aan welke ondersteuning wordt geboden voor andere beperkingen zoals hier genoemd. Voor bijvoorbeeld leerlingen met ondersteuningsbehoeften voortkomend uit ziekte, psychische aandoeningen en/of gedragsproblemen geeft de aanbieder aan welke aanpassingen mogelijk zijn in de wijze van afnemen en van welke hulpmiddelen zij gebruik kunnen maken tijden de afname. De aanbieder benoemt daarbij expliciet welke aanpassingen en hulpmiddelen voor deze doelgroepen extra aandacht behoeven, waarbij gedacht kan worden aan het bieden van voldoende tijd, een prikkelarme werkomgeving of individuele afname, extra structureren van wijze van afname en regels die daarbij gelden.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis LL1.g is niet van toepassing voor de calamiteitentoets.

5. Psychometrische aspecten

5.1. Inleiding

Toelichting LL2.a: Hulpmiddelen voor leerlingen met specifieke ondersteuningsbehoeften kunnen in twee categorieën opgesplitst worden. Enerzijds gaat het om hulpmiddelen die al in de toets(omgeving) zijn opgenomen of ingebouwd. Anderzijds gaat het om de mogelijkheid tot het inzetten van hulpmiddelen van de school of leerling zelf. Bij deze tweede categorie is het belangrijk dat de toets toegankelijk is voor deze hulpmiddelen. De aanbieder beschrijft beide categorieën in de handleiding voor de afnemer en/of toetsreglement.

Toelichting LL2.d: De aanbieder toont aan wat er aan maatwerk mogelijk is indien het beschreven aanbod aan hulpmiddelen, toetsvarianten en aanpassingen van afnamecondities niet toereikend zijn voor een leerling met specifieke ondersteuningsbehoeften.

4.3. Afname doorstroomtoets

5.2.1. Steekproefkader en samenstelling steekproef

De psychometrische kwaliteitsbeoordeling van de calamiteitentoets wijkt af van bovengenoemd kader. De calamiteitentoets bevat geen items uit het gezamenlijk anker. Ook de normering van de calamiteitentoets wijkt af van de reguliere normering. Dit is nader uitgewerkt in de Regeling Beoordelingsnormen doorstroomtoetsen po.

5.2.2. Kalibratie en kwaliteit van items

Toelichting KA1: De toetsaanbieder selecteert de gepreteste items die psychometrisch gezien van voldoende kwaliteit zijn om te kunnen gebruiken in de samen te stellen doorstroomtoets. Dat betekent dat de toetsaanbieder op gedegen en complete wijze onderbouwt dat de geselecteerde items aan minimaal de volgende eisen voldoen:

5.2.3. Toetssamenstelling

Toelichting T1: Voor zowel een MST als papieren en digitale lineaire doorstroomtoetsen geldt dat de toets voor de terreinen Nederlandse taal en Rekenen in ieder geval vragen moet bevatten die inhoudelijk aansluiten bij de referentieniveaus 1F en 2F/1S en die een moeilijkheidsgraad tussen de cesuur van referentieniveau 1F en 2F/1S hebben. In het geval van een CAT is de itemselectie geoptimaliseerd rond de opeenvolgende vaardigheidsschattingen. De aanbieder presenteert hiertoe per domein grafisch een verdeling van moeilijkheidsparameters samen met de cesuren.

Toelichting T3 (alleen van toepassing voor een lineaire toets of MST): De aanbieder beschrijft het afnamedesign dat wordt gebruikt in de operationele afname. Hiertoe wordt beschreven hoe de items zijn verdeeld over verschillende toetsversies/toetspaden. Het is mogelijk dat de toetsversies/toetspaden anders ingericht of verminderd moeten worden door een terugloop in aanmeldingen. De aanbieder beschrijft dergelijke afnamescenario’s die afhankelijk zijn van het aantal aanmeldingen, of ze geeft aan waarom verschillende afnamescenario’s niet nodig worden geacht.

Toelichting T4 (alleen van toepassing voor lineaire toetsen): Een lineaire toets bestaat jaarlijks volledig uit nieuwe gekalibreerde items voor het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen, met uitzondering van de items van het gezamenlijk anker en een intern anker. Als een intern anker wordt gebruikt moet de noodzakelijkheid ervan voldoende worden uitgelegd.

5.3. Rapportage achteraf van de kwaliteit en het functioneren van de doorstroomtoets

Afwijkende beoordeling calamiteitentoets: kwaliteitseis T5 is niet van toepassing voor de calamiteitentoets.

Afwijkende beoordeling calamiteitentoets: kwaliteitseis T6 is niet van toepassing voor de calamiteitentoets.

De aangeboden opgaven moeten voldoende onderscheidend zijn. In het geval van een adaptieve toets met een itembank (CAT) zullen items met weinig onderscheidend vermogen zelden of nooit aangeboden worden. Deze items vormen daarmee een overschatting van de vulling van de bank in aantallen opgaven. In het geval van een lineaire toets of een MST, is het onwenselijk dat een leerling tijd besteed aan opgaven met een extreem laag gewicht.

6. Vierjaarlijkse erkenning en jaarlijkse vaststelling door het CvTE

Toelichting NR3: Indien de uiteindelijke rapportageschaal afwijkt van de latente schaal waarop de cesuren zijn vastgesteld, moet de toetsaanbieder de nauwkeurigheid van de gekozen normeringsmethode ten opzichte van een 2PL-vaardigheidsschatter en de landelijk gehanteerde cesuurpunten van de toetsadviezen en referentieniveaus via een tabel weergeven (verwarringsmatrix) en verantwoordt mogelijk verschillen. Hierbij geldt dat classificatie van behaalde toetsadviezen en behaalde referentieniveaus op basis van de getransformeerde toetsscores niet meer dan 5% mag afwijken van de classificatie van behaalde toetsadviezen en behaalde referentieniveaus op basis van de landelijke normering. De 5% geldt zowel voor de referentieniveaus als bij de toetsadviezen voor het totaal. Bij de verwarringsmatrices is het dus niet toegestaan dat meer dan 5% van de observaties buiten de diagonaal valt.

6.2. De jaarlijkse vaststelling

De toetsaanbieder verantwoordt jaarlijks na de toetsafname-periode de kwaliteit en het functioneren van de afgenomen doorstroomtoets op basis van de bovengenoemde vijf kwaliteitscriteria. Er wordt beoordeeld of de inhoud van de informatie die door de toetsaanbieder is aangeleverd voldoet aan de vooraf gestelde eisen. Voor een nieuwe aanbieder zijn deze eisen bij de eerste evaluatie niet van toepassing.

B. Subdomein Fictionele, narratieve en literaire teksten

Daarbij wordt verantwoord waarom de meegenomen items in de scorerapportage zijn meegenomen.

5.2.3. Toetssamenstelling

Verder geldt:

De grafische weergaven en DIF-statistieken moeten aan worden geleverd voor ieder item, dus ook voor de items waarbij geen indicatie is gevonden van DIF. Wanneer een item met een indicatie van DIF desondanks wordt meegenomen ten behoeve van de scorerapportage moet de aanbieder aantonen wat het effect is van de inzet van het betreffende item op de behaalde referentieniveaus en behaalde toetsadviezen.

5.3. Normering ten behoeve van leerlingrapportage

Checklist 3 Verdeling van toetsopgaven rekenen over domeinen en over onderdelen volgens de Toetswijzer PO

Deze regeling zal met de toelichting in de Staatscourant worden geplaatst.

1.3. Relatie beoordelingskader tot andere wetgeving

Let op: bovenstaande opsomming is niet uitputtend en een indicatie voor de aan te leveren documentatie. Met het invullen van de leeswijzer maakt een aanbieder helder in welke documentatie de kwaliteitscriteria precies worden verantwoord.

Het ministerie van Onderwijs, Cultuur en Wetenschap – en dus het CvTE – vindt het niet noodzakelijk om gegevens te verwerken op basis van sekse. Bij de indiening wil het CvTE dan ook geen data ontvangen m.b.t. deze achtergrondvariabele.

Om de items in een doorstroomtoets efficiënt en gestructureerd te kunnen beoordelen, zijn er eisen aan het leveren van items aan het CvTE:

2. Format Regeling beoordelingskader doorstroomtoetsen po

1.4.3. Optioneel: het aanleveren van data t.b.v. landelijke normering

3.1. Inleiding