Advokaten 1
ESSÄ Algoritmisk orättvisa – när domstolen är bli
nd Algoritmiskt beslutsfattande blir allt vanligare inom allt fler områden. Men enligt Charlotta Kronblad är det juridiska systemet inte riggat för en digitaliserad offentlig sektor. Domstolarna saknar såväl möjligheter som digital kompetens för att kunna rätta till nya, både systematiska och individuella, fel. Fast det finns en lösning på dessa problem. Med bas i sin forskning presenterar Charlotta Kronblad fyra förändringar inom rättssystemet som skulle motverka algoritmisk orättvisa. I dag fattas allt fler beslut av algoritmer, också inom offentlig sektor. Men vad händer när det blir fel? Vad händer om den kod som skapar besluten inte är lagenlig, och de beslut som algoritmerna skapar blir felaktiga? Finns det någon institution som ser till att allt ställs till rätta? Finns det någon som följer upp, och ser till att vartenda beslut som en felaktig algoritm har gett upphov till rättas, och som ser till att koden skrivs om för att säkra upp framtida beslut? Tyvärr ser det dystert ut. Min forskning visar att det i dag råder en algoritmisk orättvisa som riskerar att drabba alla som omfattas av algoritmiskt beslutsfattande. Denna orättvisa, som kan uppstå vid kodning, implementering eller användning av beslutssystem, befästs då domstolarna är blinda för problemet och visar en oförmåga att just ställa allt till rätta. Forskningen visar att det är nästintill omöjligt för en enskild individ att kunna bevisa att en algoritmisk beslutsprocess varit olaglig och att algoritmiska beslut blivit fel. PRESENTATION Charlotta Kronblad är jurist och civilekonom i grunden och har tio års arbetserfarenhet från advokatbyråer, domstol och industribolag. Hon doktorerade 2020 vid Chalmers tekniska högskola på digital transformation och ingår i dagsläget i ett tvärvetenskapligt forskningsteam på House of Innovation, Handelshögskolan i Stockholm, där hon fokuserar på samhälleliga konsekvenser av digital innovation. Charlotta är också en frekvent talare både hos Advokatsamfundet och inom domstolsvärlden. varit kodat på rätt, och på ett lagenligt, sätt.1 Hundratals barn placerades exempelvis på skolor som ligger ”nära” deras hem om man ser till fågelvägen – men som i verkligheten ligger på motsatt sida Göta älv, med timslånga pendlingsresor till följd. Trots att praxis säger att skolvägen (gång/cykelväg) ska vara avgörande för skolplaceringar hade förvaltningen instruerat beslutssystemet att placera barnen i enlighet med geografisk närhet ur ett fågelperspektiv. I detta fall var det inte tekniken jag har följt, och involverat mig i, ett fall av algoritmiskt beslutsfattande i Göteborg, där stadens grundskoleförvaltning 2020 använde ett felaktigt kodat system för skolplaceringen av 12 000 elever. Den felaktiga koden ledde till att 1 400 barn placerades på andra skolor än de skulle ha placerats på om beslutssystemet det var fel på, utan det föll på kodningen, implementeringen och användningen av systemet. Systemet gjorde inte fel, utan felen uppkom genom förvaltningens felaktiga instruktioner till systemet, och förstärktes av att förvaltningen hade en sådan blind tilltro till teknikens förmåga att skapa ett perfekt utfall, att de inte ville titta på resultatet av de instruktioner som de hade matat in. De tänkte att större insyn skulle kunna locka dem att ändra 1 www.mynewsdesk.com/se/goteborgsstad/documents/grundskolenaemnden-granskning-av-verksamhetsaaret-2020-408633 42 ADVOKATEN NR 6 • 2022