Advokaten 1
ar du sökt efter en semesterresa på Google på sis
tone? Vill du kanske byta arbetsplats? Eller är du oroad över din hälsa? Oavsett vad du letar efter har du förmodligen redan upptäckt att Google snabbt försöker hjälpa dig på traven, med mängder av annonser om härliga resmål, hugade arbetsgivare, nätdoktorer och undermediciner. Lägg ihop alla sökningar du gjort på ett år, och datorn vet helt enkelt skrämmande mycket om dig, dina behov och dina rädslor. Men hur? Svaret är algoritmer, eller med ett sammanfattande begrepp: artificiell intelligens (AI). Genom sinnrika formler som väger in en rad parametrar hos dig, hos den grupp du tillhör och hos befolkningen som helhet, och viktar dem mot varandra, kan datorn blixtsnabbt skapa en bild av dig och ge dig vad du vill ha – eller vad du förväntas vilja ha. Algoritmstyrda annonser kan förvisso vara irriterande och lite skrämmande. Kanske leder de till att du gör en dålig affär eller köper något du inte tänkt. Men algoritmerna används i dag på många fler områden än bara reklam – också där de kan få mycket större och mer djupgående konsekvenser. Lärarna i Houstons fristående skoldistrikt i USA blev väl medvetna om detta när skoldistriktet år 2011 implementerade ett nytt utvärderingssystem för lärare, baserad på en algoritm. Utifrån olika kriterier, som elevernas betyg i förhållande till snittbetygen i distriktet, fick datorn väga och mäta varje lärare. Däremot tog den inte in socioekonomiska variabler, som elevernas hemmiljö eller föräldrarnas utbildningsnivå i ekvationen. De ”bästa” lärarna fick bonus. De ”sämsta” avskedavåra mobiltelefoner ska kopplas upp mot i varje stund eller system för avfallshantering eller energitillförsel. Betydligt mer komplicerat blir det när, som i fallet med utvärderingen av lärare, algoritmerna ger sig in på områden som rör människors behov och att försöka styra, utvärdera eller förutsäga mänskligt beteende. Dessa beslut får dessutom stora konsekvenser för enskilda människor. Karl de Fine Licht, lektor i etik och teknik vid Chalmers tekniska högskola i Göteborg, har kommit att intressera sig för användningen av AI och dess konsekvenser. Han pekar på att tekniken ger oss fantastiska möjligheter. Samtidigt varnar han för övertro på resultaten och möjligheterna. – Det kommer ut olika siffror, och eftersom programmen är så otillgängliga och komplicerade så tänker man lätt att de står för något som de kanske inte riktigt står för, säger han, och pekar på hur man i USA använt AI för att försöka förutsäga återfallsrisk hos dömda brottslingar. Systemen för bedömning, vars re”Algoritmerna kan fatta beslut mycket snabbare än vi. Om man har med bias och sedan trycker ut en massa beslut riskerar vi att få massor av beslut som faktiskt förstärker det bias som finns i systemet genom alla besluten i sig.” karl de fine licht sultat kan påverka intagnas möjlighet att bli villkorligt frigivna, tar bland annat in faktorer som antal tidigare brott och alkoholproblem. Men också den intagnes hemort och brottslighet hos släktingar och vänner räknas in, med följd att personer från fattiga och brottsdrabbade områden bedöms som mer återfallsbenägna än motsvarande personer från mer välbärgade områden. Studier visar också att systemen tenderar att felaktigt bedöma betydligt fler afroamerikaner som återfallsbenägna än vita. AI används också för att bedöma våldsbenägenhet hos personer misstänkta för brott, bland annat i Washington DC i USA. Bedömningen ingår som en del när en domstol utmäter påföljder, och har kritiserats av många advokater för att befästa och des. Systemet användes ända tills lärarfacket gick till domstol och krävde att det skulle stoppas (se faktaruta på s. 38). Granskningen visade då på stora brister i både själva algoritmen och de data den matats med. Karl de Fine Licht. 34 34 SVÅRA ATT TOLKA Inte bara i USA utan även i Europa fattas nu allt fler beslut med hjälp av algoritmer. De allra flesta besluten fungerar alldeles utmärkt och går helt obemärkt förbi oss vanliga människor, som vilka satelliter som förstärka rasism. Frågan om ras ingår visserligen inte i själva bedömningen. Det gör däremot en rad faktorer som tydligt pekar mot den misstänktes etniska och sociala bakgrund, som bostadsort och närhet till kriminella gäng. I just Washington DC användes algoritmen för riskbedömningar av ungdomsdomstolarna från 2004. Först 2018 utmanades systemet av advokater, som visade att metoden inte hade tillräckligt vetenskapligt stöd för att domstolen skulle fästa vikt vid den. – Problemet är förstås att modellerna bygger på data som är väldigt biased, skruvad på olika sätt, vilket gör att resultaten är rätt svåra att använda, och särskilt i det individuella fallet, säger Karl de Fine Licht. På samma sätt som statistik blir förstås resultaten ADVOKATEN NR 4 • 2019