Når algoritmer definerer børn efter postnummer: Kaos med eksamensresultater i Storbritannien afslører for meget afhængighed af dataanalyse

"Jeg er ikke mit postnummer."

Dette slogan blev vist blandt et hav af studerende i Skotland, der protesterede over deres karakterer i løbet af den sidste uge.

Ude af stand til at tage deres eksamener i løbet af 2020 på grund af COVID-19-pandemien, og med skoler lukket tilbage i marts, modtog eleverne deres karakterer for et eksamensfrit år i sidste uge for Scottish Qualifications Authority (SQA) kurser ved brev, tekst og e-mail.

Da de åbnede kuverterne med de karakterer, der var nødvendige for højere kurser eller universiteter, blev mange skuffede.

Så kom det frem, at eksamensnævnet havde besluttet at sænke titusindvis af karakterer fra de oprindelige priser anbefalet af lærerne. I alt blev 124.564 eksamensresultater - omkring 25% af dem udstedt af SQA - nedgraderet ifølge

Den uafhængige.

Karaktersystemet, som blev brugt af eksamensudvalgets moderatorer, udnyttede data baseret på skolernes tidligere præstationer. Beståelsesprocenten for studerende på højere kurser på dårligt stillede steder i Skotland blev reduceret med 15,2 % sammenlignet med 6,9 % i mere velhavende områder.

Mens det overordnede mål var at begrænse eventuelle forudsagte karakterer udstedt af lærere, der blev betragtet som for generøse, er brugen af ​​en algoritme til at tage højde for historiske skoledata snarere end en elevs individuelle præstationer førte til beskyldninger om skævhed og forskelsbehandling.

Ian Murray, Edinburgh South MP og skyggeminister for Skotland, sagde i et blogindlæg at uden fysiske eksamener var en mulighed, ville det altid være svært at give karakterer at få ret." Murray mener dog, at algoritmen "hårdbage[d] ulighed ind i systemet."

"Den anvendte metode har afgjort børns fremtid baseret på deres postnummer eller den tidligere præstation på deres skole, ikke deres præstationer i klasseværelset vurderet af de mennesker, der kender dem bedst - deres lærere," Murray kommenterede.

Eleverne blev efterladt knust over karakterer, der var lavere end forventet. Forældre var rasende. For nogle lærere, der arbejdede ind til benet i flere måneder efter at være blevet sat ind i en fjern- og lær-hjemme-opsætning uden varsel kan afvisningen af ​​deres anbefalinger i respekt for en algoritme have været lige meget knusende.

Efterfølgende forargelse fik Skotlands uddannelsesafdeling til hurtigt at u-tænde brugen af ​​algoritmen, og genskabe de oprindelige, forudsagte karakterer tilbudt af lærere. Undervisningsminister John Swinney undskyldte for følelsen af ​​"uretfærdighed" og tilføjede, at det var "dybt beklageligt", at regeringen "tog det forkert", som rapporteret af BBC.

Tilbagetrækningen vakte opmærksomhed at tænde Englands truende A-niveau resultater.

Torsdag modtog cirka 300.000 studerende i hele Nordirland, Wales og England deres eksamenskarakterer på A-niveau. I England er i alt 27,7% af A-niveau-indgange registreret som As eller A*s, rapporterede BBC torsdag morgen. Dog er 35,6 % af resultaterne nedjusteret med ét niveau, og 3,3 % af resultaterne er justeret med mindst to karakterer.

Se også: Tilbage til skolen: Bedste tekniske udstyr til fjernstuderende

Inden de blev offentliggjort, bad National Union of Students om, at lærer-forudsagte karakterer blev brugt i stedet for end algoritmen, men undervisningsminister Gavin Williamson hævdede, at systemet er "grundlæggende et retfærdigt."

Når man taler til Telegrafen, sagde Williamson at 'oppustning' af karakterer risikerede at devaluere 2020-resultaterne, samtidig med at det var uretfærdigt i klasserne i 2019 og 2021. Dette tyder imidlertid på, at alene i hænderne på lærere, ville alle elever få karakterer ud over, hvad de kunne have opnået - et koncept, som jeg som tidligere lærer helt afviser.

En lærer baseret i England, som er specialiseret i uddannelsespolitik, talte også til os forud for resultaterne og kommenterede:

"Historiske skolepræstationer er i det hele taget ikke så dårlige for mellem- til lave elever - men svage elever i gode skoler vil have deres oppustede og stærke elever i fattigere skoler vil være straffet."

Uddannelsesministeriet annoncerede en "tredobbelt lås" efter Skotlands tumult. Ændringerne holder standardiseringsalgoritmen på plads, men appeller kan lanceres baseret på falske eksamensestimater.

Universiteterne er også blevet bedt om at holde pladser åbne for studerende involveret i klageprocessen. Studerende, der føler, at de er blevet uretfærdigt behandlet, har også mulighed for at tage en skriftlig eksamen til efteråret.

Nordirland har fulgte trop med lignende foranstaltninger. Wales ikke havde til hensigt at ændre sin holdning, men nu har lovet at studerende ikke vil modtage karakterer lavere end deres AS-niveau -- det første år af to-årige A-niveau studier.

Der var jubel på Twitter som nogle studerende fejrede at sikre deres plads på universitetet. Andre blev dog efterladt, og standardiseringsprocessen kan have forårsaget de samme problemer som Skotland, med nogle skoler - herunder Leyton Sixth form College i East London - der oplever høje andele af nedgraderinger.

Taler til Sky, sagde kollegiets skoleleder, at 47 % af eleverne fik deres resultater nedgraderet i den sjette form, hvilket ser ud til at være en ekstrem høj andel på én skole.

Efter at have gennemgået resultaterne sagde læreren, der diskuterede problemet med ZDNet, at tendenserne i deres skole - især i et relativt velhavende område - er "stort set sammenlignelige" med sidste år. Men læreren sagde, at elevernes tidligere opnåelse - såsom GCSE'er - så ud til at have "ganske stor indflydelse."

"Jeg kan se elever, der ikke klarede sig godt på GCSE på grund af personlige årsager X, blive tildelt det samme som en svag kandidat," tilføjede læreren. "Men jeg kan se, at nogle individer er blevet nedgraderet på tværs af alle deres fag, og jeg ved ikke hvorfor."

Læreren bemærkede, at det nuværende system oprindeligt var designet til at opretholde tendenser i metadata, og da Skotland har færre data at administrere, kan deres resultater være mere "skæv" end Englands vil være generelt - men i betragtning af vigtigheden af ​​disse karakterer for universitetshåb, "er det, de har gjort, sandsynligvis mere retfærdigt end England."

Mens Skotland kæmpede med nedfaldet fra brugen af ​​standardiseringsalgoritmen, bemærkede Skotlands uddannelsesminister, at nedgraderingerne førte til til "unge mennesker føler, at deres fremtid var blevet bestemt af statistisk modellering snarere end deres egen evne," - og deri ligger problemet.

Kunstig intelligens (AI), machine learning (ML) og dataanalyse baseret på statistisk modellering, når de bruges på denne måde, har taget det menneskelige element ud af en beslutning, der kan have en reel indflydelse på en elevs fremtid - og for at gøre tingene værre, i forbindelse med en pandemi.

En slags digital kløft kan også være opstået ved, at hvert land har valgt en anden metode til at vurdere resultaterne. Juridiske udfordringer kan følge, da studerende på hver side af grænsen mellem Skotland og England kan finde på at konkurrere om de samme universitetspladser med karakterer baseret på forskellige tilgange -- for ikke at nævne UCAS-rydningskampen, der vil finde sted, mens elever med lave karakterer kæmper for at deltage universitet.

Elementet 'postnummerlotteri' er en del af et bredere spørgsmål: Hvordan kan du bestemme en rimelig belønning for studerende, der afslutter deres uddannelse uden mulighed for at moderere eksamener?

Dette er en ekstraordinær situation, og når tilsynsmyndigheder, eksamensnævn og pædagogiske fagfolk skal komme med en landsdækkende måden at give karakterer til tusinder og atter tusinder af studerende uden eksamener, er lokket ved at stole på beregningsmodeller en stærk en.

"Når de designer algoritmer, er organisationer ofte nødt til at balancere komplekse og konkurrerende mål og skader på forskellige grupper af individer," fortalte Camilla Winlo, direktør for rådgivning hos DQM GRC til ZDNet. "Dette er kompliceret, og i tilfælde af 'eksamen'-resultaterne, gjort det endnu mere, fordi det er første gang i historien, at eksamensnævn har været nødt til at skabe retfærdige bedømmelseskarakterer for enkeltpersoner under omstændigheder som det her."

Inputdata, hurtige beslutninger og problemet ser ud til at være løst. Dog kan input påvirke resultaterne.

I en tale til ZDNet sagde Alan Gibson, VP EMEA hos Alteryx, at hvis data introduceret til en algoritme inkluderer socioøkonomisk skævhed fra starten, kan dette "forplante sig til fremtidig beslutningstagning."

"Mens den statistiske model er blevet bygget på karakteristikaene af historisk "højt opnåede" eksamensresultater, var inputs fejlbehæftede: dårligt stillede skoler er mere tilbøjelige til at [have] dårlige tidligere præstationer på grund af manglende finansiering, i modsætning til deres velhavende kolleger," Gibson kommenterede. "I dette tilfælde har brug af bias-historiske data resulteret i, at topelever i dårligt stillede skoler er blevet alvorligt nedgraderet - og i nogle tilfælde så ekstreme som en beståelse for at bestå."

"I sidste ende er kunstig intelligens bare matematik - intet mere, intet mindre," tilføjede Gibson. "På trods af at være anklaget som sådan, foretager kunstig intelligens ikke moralske domme, og den er heller ikke iboende forudindtaget. I stedet må vi se på de skævheder, som de historiske data og endda skaberne af en model har, for virkelig at forstå, hvor vi kan forme disse resultater, og hvordan vi kan eliminere dem."

Winlo bemærkede også, at i Storbritanniens Information Commissioner's Office (ICO) udkast AI revisionsramme retfærdighed kræver, at personlige data håndteres "på måder, som folk med rimelighed ville forvente og ikke bruger dem på måder, der har uberettigede negative virkninger på dem." Direktøren kommenterede:

"Eksamenstavler vil have ønsket at designe en proces, der var retfærdig som muligt. Når man designer en algoritme, der skal udjævne og forhindre sådanne risici, kan den dog medføre andre risici. I dette tilfælde betyder det, at individuelle karakterer ikke udelukkende er baseret på deres eget arbejde og indsats, men på det arbejde og den indsats, som andre mennesker yder, som den enkelte ikke kan påvirke.

Det er især ulemper for personer, der klarer sig bedre end deres jævnaldrende på dårligere præsterende skoler. Du kan argumentere for, at denne kohorte er særligt fortjent til støtte og især ufortjent til yderligere forhindringer for at få succes."

Opdatering 11.05: Den britiske regering har nu frigivne dokumenter forklarer begrundelsen bag nedjusteringerne. Ofqual sagde, at afhængighed af lærerindsendte vurderinger alene ville føre til "usandsynligt høje" nationale resultater, og denne "optimisme" kunne "underminere" troen på 2020-resultater.

Direct Center Performance-modellen (DCP) blev valgt som den statistiske model, der "mest præcist forudsagde elevernes karakterer på en måde, der ikke systematisk ramte grupper af elever med særligt beskyttede egenskaber." 

"Denne forudsigelse er baseret på skolens eller colleges historiske præstationer i det pågældende fag under hensyntagen eventuelle ændringer i den tidligere opnåelse af kandidater, der kommer ind i år sammenlignet med tidligere år," siger tilsynsmyndigheden. "Dette blev finjusteret til at tage højde for kendte problemer såsom centre med små kohorter af studerende, små indgangsfag og opdelte fag."

Ofqual nægtede ethvert bevis på systematisk bias. En rapport om 2020 eksamensresultater vil blive offentliggjort senere i år.

"Vi ved, at ligesom i ethvert år, vil nogle elever blive skuffede over deres resultater. Nogle studerende tror måske, at hvis de havde taget deres eksamen, ville de have opnået højere karakterer," sagde Ofqual. "Det får vi aldrig at vide. Men for de elever, der ønsker at forbedre deres karakterer, vil der være en eksamensrække i efteråret." 

Tidligere og relateret dækning

• Online læring får sit øjeblik på grund af COVID-19-pandemien: Sådan vil uddannelse ændre sig
  
• Regeringen ønsker mere teknologi i skolerne: At betale for det vil være den første udfordring
  
• Tilbage til virtuel skole: Uddannelse omfatter fjernundervisning
  

---

Har du et tip? Kom sikkert i kontakt via WhatsApp | Signal på +447713 025 499 eller over på Keybase: charlie0

---