Advokaten 1
ESSÄ » DET SAKNAS SÅLEDES BÅDE VERKTYG OCH FÖRSTÅ
ELSE FÖR DEN NYA DIGITALA VERKLIGHETEN. DET JURIDISKA SYSTEMET ÄR HELT ENKELT INTE RIGGAT FÖR EN DIGITALISERAD OFFENTLIG SEKTOR. mer beslutsfattande och beslut på, och se över vilka reella möjligheter det finns att kontrollera och rätta felaktiga beslut. Ytterst är detta något som ankommer på våra förvaltningsdomstolar – att bedöma lagligheten i beslut och beslutsprocesser och se till att de eventuella fel som ett felaktigt kodat beslutssystem har gett upphov till också rättas. Detta, om förvaltningsdomstolarna kan rätta till sådana fel som algoritmiska beslutssystem i offentlig sektor skapar, har varit en drivande fråga för min forskning och ledde till att jag helt enkelt testade den, genom att stämma Göteborgs stad vid förvaltningsrätten och begära en laglighetsprövning av algoritmen som orsakade de felaktiga skolplaceringarna 2020. Genom rättsprocessen (mål nr 654120) som följde, upptäckte jag dock något mycket allvarligare än de felaktigheter (och olagligheter) som var inkodade i beslutssystemet. Jag upptäckte att det svenska rättssystemet i dag saknar både legala verktyg och kompetens att hantera följderna av algoritmiskt beslutsfattande. Och att det därför saknas reella möjligheter till rättslig upprättelse när algoritmiskt beslutsfattande blir fel. Trots att felen och den olagliga kodningen i Göteborg senare har befästs, genom att stadens revisorer riktade skarp kritik mot grundskoleförvaltningen och klargjorde att förvaltningen gjort flertalet allvarliga fel i hanteringen, och kodningen, av systemet3 – så visade det sig omöjligt att vinna detta mål. En omöjlig bevisbörda föll FELEN I DET ALGORITMISKA BESLUTSSYSTEMET I Göteborgsfallet samspelade en mängd felaktigheter till omfattningen på det defekta utfallet, men i grova drag handlade det om: 1. att förvaltningen valde att se sin egen regel om att placera barn max 8 km från hemmet som en approximativ, snarare än en absolut, gräns; 2. att förvaltningen hade lagt in felaktiga adresser till ett antal skolor; 3. en felaktig instruktion/kodning av systemet – att placera ut barn i enlighet med distansen till skolor räknat på fågelväg i stället för gång/cykelväg; 4. att förvaltningen i strid med skollagen instruerade systemet att prioritera geografiska parametrar före föräldrarnas val av skolor; 5. att dominoeffekter tilläts multiplicera de fel som uppkom; och 6. att förvaltningen vid rättningen av vissa felaktiga beslut inte tog hänsyn till att andra barn hade bättre rätt till dessa platser. Sammantaget innebar dessa felaktigheter att minst 1 400 barn placerades på skolor som de inte sökt, och där de inte hade placerats om beslutssystemet hade programmerats på korrekt sätt (Göteborgs stads revisionsredogörelse, 2021). Notera att automatiserat beslutsfattande på kommunal nivå inte var tillåtet överhuvudtaget vid tidpunkten för detta fall, 2020 (vilket adderar till problematiken och dess olaglighet). 450 fel rättades av grundskoleförvaltningen innan terminsstarten (de fel som kunde härledas till att det egna regelverket inte följts – punkten 1 ovan), medan resterande felplacerade barn i stor utsträckning har fått gå kvar på de skolor där de blev placerade av algoritmen. nämligen på mig som sökande, att bevisa innehållet i den algoritm som jag aldrig fick tillgång till. Analyser av det faktiska utfallet – med hundratals barn placerade på fel sida älven – räckte inte som bevisning,4 och domstolen valde att varken skifta bevisbördan eller använda sin undersökningsplikt för att begära ut aktuell algoritm. Rättsläget pekar på en blindhet för nya digitala maktobalanser där enskilda inte har insyn i, eller tillgång till, den kod som ligger till grund för beslut som rör dem, samt på en blindhet för digitala frågeställningar och digitala bevis. Det saknas således både verktyg och förståelse för den nya digitala verkligheten. Det juridiska systemet är helt enkelt inte riggat för en digitaliserad offentlig sektor. Detta innebär att domstolarna saknar såväl möjligheter som digital kompetens för att kunna rätta till nya, både systematiska och individuella, fel. det finns dock en lösning på dessa problem. Med bas i min forskning vill jag presentera fyra förändringar inom rättssystemet som skulle motverka algoritmisk orättvisa, och som jag anser att vi behöver genomföra för att garantera en fortsatt rättssäkerhet i en digital kontext. Dessa är: 1. Att det bereds möjlighet att överklaga (eller laglighetspröva) koden i algoritmiska beslutssystem, och inte bara de individuella beslut som systemen genererar. Användandet av algoritmiska beslutssystem ger en systematik i de 3 Stadsrevisionens revisionsredogörelse. Rapporten bygger på en grundlig undersökning med access till algoritmen och omfattande simuleringar i beslutssystemet, länk till rapporten finns i not 1. 4 Två publicerade rapporter som föräldranätverket upprättat (baserat på uppgifter kring faktiska placeringar samt ”reverse engineering” av koden) anfördes som bevis, liksom en revisionsrapport från grundskoleförvaltningen. 44 ADVOKATEN NR 6 • 2022