AI Act vil vende bevisbyrden om

Billedet: Screendump af EU AI Act og Shutterstock-billede.

Det er kunstig intelligens, der filtrerer dine uønskede e-mails fra de ønskede. Det er kunstig intelligens, der giver dig relevante søgeresultater på Google.

Men kunstig intelligens kan også være din digitale assistent, blandt andet som læge, der på baggrund af diagnoser, skal foreslå behandlingsformer. Og kunstig intelligens kan også bruges til at profilere sager, eksempelvis i forsikringsbranchen, hvor din profil måske bliver lavet ud fra en risikobetragtning skabt af en algoritme.

Med andre ord, er kunstig intelligens allerede marcheret ind i vores samfund, og mange ting kan blive nemmere. Men med den nye hjælpende hånd, kommer også en række risici.

Netop af den grund har EU kommissionen udarbejdet et forslag til en forordning, der skal regulere brugen af kunstig intelligens i Europa. Forordningen, der hedder EU AI Act, er endnu ikke vedtaget.

Henrik Palmer, der er prodekan på det juridiske fakultet på Københavns Universitet og er specialiseret i blandt andet menneskerettigheder og datalogisk retsforskning, forventer dog, at den bliver vedtaget. Måske inden for et år eller halvandet.

Og med en europæisk regulering i kikkerten, tager vi på K-NEWS sammen med Henrik Palmer et tætter kig på AI Act’en, der skal gøre brugen af kunstig intelligens mere tryg for os.

AI Act i EU

Henrik Palmer forklarer, at forordningen kategoriserer kunstig intelligens efter fire niveauer, som er baseret på, i hvilket omfang brugen af kunstig intelligens er risikabel eller farlig.

Det højeste niveau er karakteriseret som uacceptabel høj risiko, og heri ligger der nogle forbud mod brug af kunstig intelligens på forskellige områder. Eksempelvis er der et forbud mod systematisk masseovervågning.

“Det næste niveau er der, hvor de siger, at der er høj risiko. Og det er det område, som det meste af den her forordning handler om,” siger han og fortæller, at nogle af de områder, hvor der er høj risiko ved brug af kunstig intelligens blandt andet er uddannelsessystemet, på social- og velfærdsområdet og ved behandling af flygtninge- og asylsager.

“Hvis man anvender kunstig intelligens på disse områder, vil der, hvis forslaget bliver vedtaget, komme til at gælde en række særlige regler her,” tilføjer han og forklarer, at nogle af de ting, man kan bruge kunstig intelligens til på disse områder, eksempelvis er i forbindelse med snyd med sociale ydelser.

Hvis nogen for eksempel påstår, at de er enlige, kan en algoritme måske bruges til at indsamle forskellige data om personen - og eventuelt andre personer, der mistænkes for at leve sammen med den pågældende. Data kan så be- eller afkræfte om personen rent faktisk lever som enlig.

Det samme kunne gøre sig gældende i forbindelse med dagpengemodtagere, der har pligt til at opholde sig i landet og være arbejdssøgende. Her kan offentlige myndigheder igen bruge algoritmer til at indhente og samle data, der kan være med til at kontrollere om den pågældende overholder betingelserne for at modtage sociale ydelser.

“Det, forordningen så gør, er, at den siger, at hvis man vil bruge kunstig intelligens på de områder, så er der nogle krav, der skal være opfyldt,” siger Henrik Palmer og fortsætter:

“Det handler blandt andet om, at man skal oprette sådan nogle risikoprofiler, der beskriver, hvad det er for nogle risici, der er forbundet med at bruge kunstig intelligens til netop det givne formål.”

Risici ved indsamling af data

Risikoprofilen dækker over udarbejdelsen af blandt andet et risikostyringssystem, hvor man netop tager højde for hvilke risici, der er ved at indsamle data og måden, det bliver gjort på. Eksempler på risici er blandt andet hacking, så andre får fat i det indsamlede data, eller at data er misvisende.

Henrik Palmer forklarer, at data kan være misvisende, hvis det eksempelvis handler om en algoritme, der skal regne ud, hvilke børn der er udsatte med henblik på at bruge indberetninger fra daginstitutioner til at måle på, hvor udsat et givent barn er.

“For børnehaver indberetter måske på forskellige måder, og man kan ikke altid være sikker på, hvad en indberetning dækker over, fordi der skal laves en fortolkning og validering af den indberetning, der kommer ind fra børnehaven,” siger han og pointerer derved, at en anden del af risikoprofilen handler om data-governance.

Her skal man som udvikler af en algoritme klargøre og sørge for, at man har alt relevant data med i det datasæt, man udvikler algoritmen med. For der er igen en risiko for, at et system kan behandle data forkert, hvis det kun er udviklet på grundlag af et lille udsnit af de data, der faktisk er relevante og repræsentative for den opgave systemet skal understøtte.

Derudover skal man på disse højrisikoområder også have en teknisk dokumentation for, hvordan den algoritme, man vil udvikle, er lavet.

“Hvad er det for nogle matematiske modeller, der ligger i den. Man skal også løbende logge systemet. Det vil sige, at man over en tidsperiode skal kunne se, hvad det er for nogle data, der går ind i systemet, og hvad er det for nogle data, der går ud af systemet. Og samtidigt skal det være transparent for brugeren.”

Henrik Palmer uddyber, at det betyder, at en sagsbehandler i en given kommune eller styrelse skal have en vis forståelse for, hvordan algoritmen virker.

“Det vil sige, at der skal være en brugermanual, der eksempelvis forklarer en sagsbehandler, hvordan et givent system virker og samtidigt gør sagsbehandleren opmærksom på de risici, der ligger i brugen af det.”

Og samtidigt skal sagsbehandleren have mulighed for at træffe beslutninger, der ikke nødvendigvis er de samme som algoritmen.

”Der skal altså være mulighed for at træffe en anden beslutning end den, algoritmen lægger op til. Det betyder, at man ikke må lave fuldautomatiske systemer på højrisiko områder, hvilket vil sige, at der altid skal et menneske ind og vurdere, om man skal følge algoritmens forslag,” uddyber Henrik Palmer og fortsætter:

“Med forordningen kommer der altså nogle nye og højere krav til ibrugtagning af kunstig intelligens, og formålet er at skabe en ramme omkring brugen af kunstig intelligens, som gør at borgerne kan være trygge ved brugen af det.”

Artiklen fortsætter efter billedet af Henrik Palmer.

K-NEWS: Hvis den her forordning engang træder i kraft, hvad betyder det så for de tech-giganter, der allerede arbejder med AI?

”Tech giganterne, som eksempelvis Google, Facebook og Apple skal naturligvis også overholde kunstig intelligensforordningen, når og hvis den bliver vedtaget. De krav, der er beskrevet i forordningen, vedrører imidlertid kun særlige former for brug af kunstig intelligens, altså de områder, der er kategoriseret som højrisiko. Tech giganterne associeres oftest med brug af kunstig intelligens, der ikke er karakteriseret som højrisikoområder, eksempelvis fremsøgning af information på Google, deling af beskeder på Twitter, deling af billeder på Facebook og/eller Instagram og så videre.”

Risiko for diskriminering

En af de risici, der blandet andet er ved kunstig intelligens er diskrimination. Men også her skal forordningen fra EU være en modvægt.

“Forordningen arbejder mod diskrimination ved, at den i artikel 10, som omhandler data og data-governance har indlagt nogle krav til, at man skal undersøge, om der er bias i de data man har brugt til udvikling af systemet. Og man skal redegøre for, hvordan man har undersøgt datasættet for bias. Ved på den måde at kræve opmærksomhed på bias modarbejder man diskrimination,” siger Henrik Palmer.

Selvom bias i data kan føre til diskrimination, er det ikke altid tilfældet. Afgørende her er kravet i forordningen om, at man forholder sig til system-bias, for det betyder, at brugerne af systemet ikke kan fralægge sig ansvaret, hvis der er diskrimination.

Undersøgelseskravet i forordningen betyder nemlig, at de myndigheder, der bruger systemet er blevet oplyst om bias og risici, og derfor kan de ikke bagefter hævde, at de ikke vidste, der var bias i systemet.

“Hvis der er bias, så skal de også efterfølgende kunne svare på, hvordan de så har sikret sig at denne bias ikke fører til diskrimination. Man kan sige, at forordningen også virker på den måde, at den vender bevisbyrden lidt om, fordi der netop er krav om, at man undersøger for bias, og hvis man bliver opmærksom på det, så skal man selvfølgelig også adressere det,” siger han og tilføjer:

“På den måde er forordningen med til at højne bevidstheden omkring mulig diskrimination.”