Advokaten 1
ESSÄ för digitala bevis visst utfall manuellt, oc
h den risken ville de inte ta. I detta fall såg alltså grundskoleförvaltningen inte ens besluten innan de skickades ut, utan tänkte att beslutsprocessen skulle bli mer rättssäker och likvärdig på detta sätt. Detta handhavandesätt innebar att ett helt orimligt utfall (med hundratals barn placerade på fel sida av älven) inte bara undgick att upptäckas, utan också tilläts spridas över staden. Denna spridning av felen skedde då barnen som hade placerats på fel skolor puttade undan andra barn i systemet (barn som nu inte fick plats på de närliggande skolorna där de ville gå – eftersom de fylldes upp av barn från andra sidan älven). I detta systematiska utfall identifierades dominoeffekter i upp till sex led. Vilket visar att en brist på 100 platser i centrala stan, genom en felaktig instruktion i systemet, kan leda till 600 felaktigt placerade barn. Dessa fel skapades genom en felaktigt kodad algoritm, en aningslös hantering av resultatet och en bristfällig uppföljning, där de felaktiga placeringarna inte har rättats till. Philip Alston, FNexpert på fattigdom och mänskliga rättigheter, har varnat för just detta. Att offentliga myndigheter i en iver att digitaliseras och vara ”effektiva” och ”rättvisa”, missar risker, dolda motiv och avgörande konsekvenser av digitaliseringen. The world is ”stumbling zombielike into digital welfare dystopia”2 påstår han, vilket också verkar stämma med utfallet i Göteborg. Vi riskerar att skapa en digital dystopi. Den digitala transformationen går för närvarande otroligt snabbt och i denna utveckling får algoritmer, och algoritmiskt beslutsfattande, en växande roll, medan det saknas digital kompetens hos offentliga myndigheter samt institutioner som tar ett faktiskt ansvar för att utvecklingen går rätt till. ofta automatiseras och digitaliseras alltså beslutsprocesser för att skapa effektivitet och för att höja träffsäkerheten och likvärdigheten i beslut, men få är medvetna om att övergången till det algoritmiska beslutsfattandet ger upphov till andra (nya) konsekvenser. I det algoritmiska beslutsfattandet kan beslutet inte längre skiljas från beslutsprocessen, och nya typer av systematiska fel uppkommer (såsom de omfattande dominoeffekterna i Göteborg). Det går därför inte att bara byta ut ett analogt beslutsfattande mot ett digitalt och tro att befintlig juridisk infrastruktur kommer att räcka för att hantera också algoritmiska konsekvenser. Den digitala transformationen av beslutsfattande innebär en fundamental förändring – som inte bara omfattar vem som fattar besluten – där vi går från en mänsklig till en artificiell aktör – utan förändringen berör också hur besluten fattas, när och var de fattas (eller förutbestäms), att enskilda beslut kan ge systematiska effekter och påverka andra beslut, vidden av eventuella fel och hur felaktigheter kan rättas till. Därför måste vi också förändra sättet som vi hanterar och bedö2 www.ohchr.org/en/press-releases/2019/10/world-stumbling-zombie-digital-welfare-dystopia-warns-un-human-rights-expert ADVOKATEN NR 6 • 2022 MIN FORSKNING VISAR ATT DET ÄR NÄSTINTILL OMÖJLIGT FÖR EN ENSKILD INDIVID ATT KUNNA BEVISA ATT EN ALGORITMISK BESLUTSPROCESS VARIT OLAGLIG OCH ATT ALGORITMISKA BESLUT BLIVIT FEL. » 43