Examen U-bocht: achter het algoritme dat chaos veroorzaakte op A-niveau
'Seeds of the policy ramp' gezaaid in brief van Gavin Williamson toen de lockdown in maart werd aangekondigd
'Seeds of the policy ramp' gezaaid in brief van Gavin Williamson toen de lockdown in maart werd aangekondigd
Chris J Ratcliffe/Getty Images
Toen de woede losbarstte na de publicatie van A-niveaus vorige week, drong premier Boris Johnson erop aan dat de resultaten robuust, goed en betrouwbaar waren voor werkgevers.
Maar slechts enkele dagen later, na Ofqual's plotselinge intrekking van de criteria voor aantrekkelijke cijfers, werd de regering gedwongen tot een gênante ommezwaai, waarbij de resultaten nu gebaseerd moeten zijn op voorspellingen van leraren in plaats van die van een controversieel algoritme.
Het geautomatiseerde systeem werd gebruikt om te voorkomen wat minister van Onderwijs Gavin Williamson omschreef als ongebreidelde inflatie in de context van de coronaviruspandemie en geannuleerde examens. Maar wie bedacht het algoritme, dat Williamson uiteindelijk zijn kabinetsbaan zou kunnen kosten?
Ongekende omstandigheden
De zaden van de beleidsramp werden gezaaid op de dag dat de afsluiting van kracht werd, toen Williamson in een brief aan Ofqual waarschuwde dat het vermijden van ranginflatie een prioriteit was, De tijden rapporten.
Ofqual moet, voor zover mogelijk, ervoor zorgen dat de kwalificatienormen worden gehandhaafd en dat de verdeling van de cijfers een soortgelijk profiel volgt als in voorgaande jaren, vertelde Williamson aan de examenregulator.
Met andere woorden, zo zegt de krant, ondanks het feit dat leerlingen geen examens zouden doen, wilde de regering de klas van 2020 behandelen zoals die van voorgaande jaren. A-niveaus werden behandeld als de 'gouden standaard' van het onderwijssysteem en mochten niet worden gedevalueerd.
Maar door de examenregulator de opdracht te geven een verzekeringspolis af te sluiten in de vorm van zijn noodlottige algoritme, ging deze wens om de inflatie te beperken te ver, voegt de BBC .
Wat ging er mis?
Op verzoek van de onderwijssecretaris gingen de statistici van de toezichthouder aan de slaghet bedenken van een systeem voor het uitdelen van cijfersdaardoor zijn de examenresultaten van voorgaande jaren niet gestegen, legt Jo-Anne Baird uit, hoogleraar onderwijsbeoordeling aan de Universiteit van Oxford en lid van de adviescommissie van Ofqual.
Het probleem was dat in het geval van de klasse van Covid de preoccupatie met het handhaven van normen een te hoge prijs had, aldus de BBC.
Een totaal van 39% van de resultaten op A-niveau die afgelopen donderdag werden vrijgegeven, werden gedegradeerd , en leerlingen in achterstandswijken werden onevenredig het hardst getroffen, zegt NS Tech , een afdeling van de New Statesman.
Het algoritme voorspelde cijfers nadat het verschillende stukjes gegevens had gekregen.
De eerste was het voorspelde cijfer van de leraar voor elke student op basis van hun prestaties in de klas en de proefexamens, legt de nieuwssite uit. Maar dit werd op zichzelf onvoldoende geacht, dus werd docenten ook gevraagd om elke student van hoog naar laag te rangschikken in termen van hun verwachte cijfer.
Scholen stortten zich op de beoordelingstaak, voegt The Times eraan toe, met afdelingshoofden die vergaderingen leidden waar leraren hun pleidooi voor hun leerlingen bepleitten.
Maar, zegt de krant, er zat een addertje onder het gras in het Ofqual-systeem. EEN verslag doen van vorige week vrijgegeven door de toezichthouder onthulde dat door de leraar toegewezen cijfers alleen voorrang kregen in klassen van minder dan 15 studenten - een systeem dat de voorkeur gaf aan particuliere scholen met kleinere klassen.
Daarentegen werden de cijfers van leerlingen op grotere scholen veel meer beïnvloed door de historische prestaties van de school en de rangorde van hun leraar dan hun voorspelde cijfers, voegt NS Tech toe.
Deze discrepantie verklaart het onevenredige aantal studenten van scholen die normaal gesproken geen leerlingen naar de beste universiteiten van het VK sturen en die hun voorspelde cijfers agressief zagen dalen.
Was een eerlijker systeem mogelijk?
Volgens De tijden ’ wetenschapsredacteur Tom Whipple, het maken van een eerlijk algoritme is als proberen een ei te ontkoken - dat wil zeggen, onmogelijk.
Het probleem, schrijft Whipple, is dat wanneer mensen uit bevolkingsgegevens extrapoleren om voorspellingen te doen over individuen... je uiteindelijk allerlei contra-intuïtieve, verrassende en soms absurde fouten kunt maken.
Dit is wat er mis ging met een algoritme dat zo sterk gebaseerd was op de historische resultaten van een school, stelt hij. Het is duidelijk dat dit oneerlijk zal zijn voor uitzonderlijke kinderen op niet-uitzonderlijke scholen, terwijl het omgekeerd al te aardig zal zijn voor niet-uitzonderlijke kinderen op uitzonderlijke scholen.
Sam Freedman, CEO van de niet-gouvernementele organisatie Education Partnerships Group, is het eens met dit oordeel. Het algoritme zou onvermijdelijk uitschieters raken die aan de top van de distributie stonden op scholen die in het verleden niet veel high-performers hadden, hij tweets .
Maar, voegt Freedman eraan toe, het besluit van de regering om alleen de voorspelde cijfers van de leraar te gebruiken, is ook oneerlijk voor leerlingen op scholen die voorzichtig zijn beoordeeld, oneerlijk voor vroegere/toekomstige cohorten, en creëert [d] een loterij voor uni-plaatsen.
En de ommekeer kan voor sommige studenten te laat komen, waarbij veel universiteiten zeggen dat de cursussen voor het volgende academische jaar al vol zijn.
Wat het algoritme betreft, statistieken zijn per definitie een manier om veel getallen in minder getallen weer te geven, zegt Whipple.
Dit is enorm nuttig, maar we moeten weten wat het betekent: het individu vergeten.
