/Apple%20card.jpg)
20 gange højere. Så stor en forskel var der på den kreditvurdering, som den danske iværksætter David Heinemeier Hansson fik fra Goldman Sachs i forhold til hans hustru. Og det selvom hustruen fik en højere credit score, da parret indberettede fælles skatteopgørelse.
Det skriver Bloomberg.
I en række tweets fortalte Hansson, der bl.a. står bag Ruby on Rails, om sine oplevelser med kreditvurderingen, der blev foretaget via Apple Card, som Goldman Sachs har lanceret i samarbejde med Apple. Den megen omtale af sagen og ikke mindst den tidligere co-founder hos Apple Steve Wozniak, der stemte i koret af kritikere, har nu fået fået de finansielle myndigheder i New York til at iværksætte en undersøgelse rettet mod bankens og Apples brug af algoritmer.
I forbindelse med sagen mod Goldman Sachs har Reuters kigget nærmere på de nærværende eksempler, hvor algoritmerne åbenlyst har være bias. F.eks. har Amazon haft problemer med et automatiseret rekrutteringssystem, der på baggrund af CV'er kunne rangere jobansøgere på en skala fra et til fem. Men da mængden af CV'er i databasen fortrinsvis bestod af mænd, var der dermed også mænd, der fik de højeste scores i rekrutteringsforløbene. Herhjemme bliver algoritmer brugt i rekrutteringsforløb flere steder, da algoritmerne med det korrekte datasæt kan udvælge folk udelukkende på baggrund af deres faglige kvalifikationer
Også de digitale assistenter mistænkes for at have have en indbygget bias i sig. En rapport fra FN i år peger på, at de populære digitale assistenter med kvindelige stemmer som Apples Siri, Amazons Alexa og Microsofts Cortana, forstærker sexistiske stereotyper og normaliserer sexistisk chikane. Stilet som kvindelige hjælpere blev de fleste stemmeassistenter programmeret til at være underdanige og herunder høfligt at reagere på fornærmelser.
Algoritmerne er en juridisk blackbox
Det er en udfordring, når algoritmerne profilere mennesker og grupper. Det er det for så vidt også, når vi mennesker bevidst eller ubevidst gør det samme. Demokraternes præsidentkandidat Elizabeth Warren var i juni på banen med en direkte opfordring til myndighederne om at have særligt fokus på, at diskrimination ikke må finde sted, når digitaliseringen og kunstig intelligens implementeres.
Herhjemme var Forbrugerrådet Tænk tilbage i marts 2017 ude med en kritik af hjemmesiders brug af cookies og tracking af kunder, som ifølge rådet kunne bruges til at profilere borgere, og på den måde tjene flere penge på varer, der kunne være dyrere for nogle end for andre
Mens bias ses i flere eksempler i mødet mellem borger og virksomheder, så ses bias også i relation til borger og myndighed.
Algoritmernes magt har været til stor debat herhjemme de sidste år. F.eks. skrev Jacob Mchangama, direktør hos Justitia, en længere artikel til Zetland omkring digitale domstole tilbage i juli 2017, hvor han plæderede for, at algoritmernes evne til at hjælpe med opklaring og forudsigelser bestemt var en kærkommen mulighed, der har et stort potentiale i forhold til at højne retssikkerheden men også, at de selvsamme algoritmer kan give nogle negative udslag. Som eksempel henviser han til Højesterets afgørelse (U.2012.3359), hvor dommerne omstødte en dom på syv års fængsel fra både byret og landsret, der havde fulgt retningslinjerne i den nye knivlov fra 2008. Højesteret dømte her i relation til ret og rimelighed, og lagde hermed en praksis på området, som en maskine potentielt ikke ville have kunne foretage, da maskinens datasæt ville følge den rene lovtekst.
Sagen om David Heinemeier Hansson kreditvurdering bliver nu taget op af de amerikanske myndigheder.