Advokaten 1
» MENINGSLÖS TRANSPARENS Förutom att algoritmerna
tycks ge fördomsfulla och ibland felaktiga resultat, som dessutom får stor inverkan på enskildas liv, är de förstås svåra att bemöta och försvara sig mot, eftersom det är näst intill omöjligt att förstå vilka grunder de vilar på. De är helt enkelt inte det minsta transparenta. Och även när algoritmerna går att Virginia Dignum. förstå kan det bli mycket kostsamt att undersöka dem, vilket de som ifrågasatt olika beslut fått erfara, till exempel de lärare som utmanade Houstons utvärderingssystem (se faktaruta nedan). Christian Åhlund har ett förslag på visorns roll i företag: att intyga att allt gått rätt till men inte att avslöja företagets hemligheter. Även Karl de Fine Licht ser det som ganska meningslöst att lämna ut koden bakom algoritmerna. I stället tror han på det som kallas förklarande AI, där datorn inte bara levererar ett svar utan också förklarar svaret. – Det ger ett underlag som vi kan ”Det finns förstås saker som vi anser är speciella för människan, men de kan förändras. Det hur transparensen skulle kunna ökas: genom en omvänd bevisbörda i beslut som fattas med AI. – Det skulle innebära att en myndighet som avslår en ansökan om till exempel socialbidrag skulle behöva visa att beslutet är välgrundat, i stället för som i dag, där den som stämmer, eller överklagar, ska kunna visa att beslutet är felaktigt, säger han, och tillägger att omvänd bevisbörda ju redan finns inom vissa delar av arbetsrätten och diskrimineringsrätten. Det bästa sättet att skapa transparens kan tyckas vara att ge programkoden till alla, konstaterar Virginia Dignum. I praktiken är sådan transparens helt meningslös. – Du kommer inte att förstå den. Inte ens jag förstår den. Verklig transparens tror jag handlar mycket mer om processen runt omkring, säger Dignum. Viktiga uppgifter blir då sådant som vilka personer som är inblandade i processen, vilka faktorer som tagits in i algoritmen, vilka data som har använts och vem som samlat in datan. Virginia Dignum jämför med reRÄTTSFALL K.W. mot Armstrong År 2011 sjösatte myndigheterna i Idaho, USA, ett nytt AI-verktyg för att beräkna stödet till personer med funktionsnedsättningar inom ramen för delstatens Medicaid-program. Efter förändringen drabbades plötsligt många av rejäla nedskärningar – 20–30 procent var inte ovanligt – i sin ersättning. Gemensamt för de drabbade var att de inte kunde få några riktiga svar på varför de plötsligt fick mindre ersättning, eftersom detta sades vara en affärshemlighet. 4 000 personer väckte då en grupptalan med hjälp av American Civil Liberties Union (ACLU). Det första steget blev att via domstolen begära ut algoritmen bakom beräkningarna. Domstolen gick på de klagandes linje, och domaren yttrande bland annat att det ”är ett flagrant brott 38 38 mot kravet på rättvis rättegång att skära ned någons ersättning med 20 000 dollar om året och hänvisa till att orsaken är hemlig”. ACLU lät flera experter gå igenom koden. Genomgången visade för det första att algoritmen byggde på felaktiga och ofullständiga data, för det andra att staten själv hade upptäckt problem med verktyget men ändå valt att använda det, och för det tredje att formeln bakom beräkningarna hade allvarliga brister. Domstolen fann, utifrån ACLU:s granskning, att formeln bakom beräkningarna var oförenlig med konstitutionens krav på rättvis rättegång, eftersom den producerade godtyckliga resultat för ett stort antal människor. Domstolen beordrade också delstaten att sluta använda den aktuella metoden. Nu arbetar staten Idaho tillsammans med representanter för brukarna med att skapa ett nytt beräkningssystem för Medicaid. ACLU uppger att fallet kostade dem omkring 50 000 dollar att driva. K.W. v. Armstrong, No. 14-35296 (9th Cir. 2015) Houston Federation of Teachers mot Houston Independent School District Houstons skoldistrikt införde år 2011 en utvärderingsmodell, Education value-added assessment system (EVAAS). Systemet, baserat på en algoritm framtagen av ett privat företag, syftade till att mäta lärarnas effektivitet, bland annat med utgångspunkt i elevernas betyg i förhållande till genomsnittet i skoldistriktet. Användningen av EVAAS under åren 2011–2016 ADVOKATEN NR 4 • 2019 vi säger nu att tekniken aldrig kan göra, eller vi inte vill att systemen ska göra, kanske inte är samma saker som man säger om några generationer.” virginia dignum använda oss av för att till exempel överklaga ett beslut. Transparens i fråga om förklaringar medan processen fortfarande är osynlig för oss, sammanfattar han. Förklarande AI eller fristående granskare är också ett sätt att komma runt problemet med att algoritmer kan vara IP-rättsligt skyddade av de företag som tagit fram dem. DATA ÄR MAKT Den israeliske historikern Yuval Noah Harari målar i sin artikel Why Technology Favors Tyranny upp en dyster bild av samhällsutvecklingen. Enligt Harari var en viktig anledning till demokratins och marknadsekonomins seger över diktaturen på 1900-talet att ingen enskild aktör längre kunde överblicka all relevant information i det allt mer komplexa samhället. Demokratin med sin decentralism blev helt enkelt mer effektiv än enväldet. Med AI:s utveckling riskerar detta att vändas upp och ner, menar Harari. Plötsligt går det att hantera närmast hur stora datamängder som helst. Diktaturen kan åter visa sig vara det mest effektiva systemet, genom att den snabbt kan reagera på de data som kommer in. Dessutom kan diktaturen bygga sig ännu starkare genom att samla in ännu mer data – och bygga ännu bättre algoritmer. FOTO: MIKAEL HANSSON