Institut for Menneskerettigheder: Algoritmer udfordrer fundamentale menneskerettigheder
Når algoritmerne vinder frem i den offentlige forvaltning, er vores fundamentale rettigheder på spil. Der er risiko for, at borgere kan blive diskrimineret, eksempelvis på baggrund af etnicitet eller køn, skriver Louise Holck.
Forestil dig, at du er til møde på et jobcenter. Sagsbehandleren kigger op fra sine papirer og siger med bekymret mine:
"Vores algoritme har regnet på det: Det ser ikke for godt ud, for du er jo barn af ikke-vestlige indvandrere. Det betyder, at du er i øget risiko for at ende som langtidsledig".
Scenariet er ikke opfundet. Algoritmen er udviklet til brug i landets jobcentre og a-kasser, og lige nu venter vi på, at Ligebehandlingsnævnet tager stilling til sagen.
Hos Institut for Menneskerettigheder mener vi, at det er diskriminerende at inddrage borgernes etnicitet i sagsbehandlingen, uanset om det foregår i en computermodel eller i den personlige dialog.
Algoritmer udfordrer grundlæggende rettigheder
Algoritmeskepsis bunder altså ikke i fremtidsfrygt, men i konkrete oplevelser og erfaringer. Vi styrer mod et samfund, hvor algoritmerne fylder stadig mere, også i den offentlige forvaltning.
Det udfordrer vores menneskerettigheder, og derfor udgav Institut for Menneskerettigheder i efteråret rapporten 'Når algoritmer sagsbehandler'. Her efterlyste vi klare rammer for, hvordan og hvornår kunstig intelligens må indgå i offentlige myndigheders beslutningsprocesser.
Og der er mange spørgsmål, der skal besvares: Hvordan sikrer vi, at data bruges etisk forsvarligt og lovligt? Hvad er muligheden for gennemsigtighed, når sagsbehandlingen helt eller delvist overlades til avancerede computermodeller? Hvem skal holde øje med området?
Centralt i rapporten er de såkaldte "algoritmiske profileringsmodeller". På baggrund af store datamængder kan modellerne blandt andet hjælpe myndigheder med at forudsige den enkelte borgers adfærd.
Hensigten er om at effektivisere den offentlige sagsbehandling er god, men samtidig er det klart, at den enkelte borger kan opleve det som intimiderende, hvis sagsbehandleren arbejder ud fra big data-computerberegninger snarere end det personlige møde med borgeren.
Kan diskriminere på baggrund af køn og etnicitet
Helt grundlæggende er det retssikkerheden, der er på spil her. Den forventning, vi alle må have om en fair og gennemsigtig sagsbehandling. Og vores ret til ikke at blive udsat for diskrimination.
Det er naturligvis glædeligt, hvis computermodellerne kan skabe bedre offentlige beslutninger for eksempel i kraft af, at den enkelte sagsbehandler får et mere komplet og kvalificeret grundlag at træffe beslutningerne på.
Men som eksemplet fra jobcentrenes profileringsværktøj viser, er der en risiko for, at de algoritmiske modeller vil føre til diskrimination på baggrund af for eksempel køn eller etnicitet.
Samtidig kan computermodellerne komme til at regne forkert, fordi algoritmiske modeller ikke er bedre end de data, som mennesker fodrer dem med.
Algoritmerne kan nå frem til forkerte resultater, hvis der er en bias (en skævvridning) i de datasæt, som algoritmerne råder over. Denne skævvridning kan så forstærkes yderligere i takt med, at algoritmen udvikler sig ud fra indhøstede erfaringer (maskinlæring).
Fire anbefalinger til brug af algoritmer
Det er blandt andet med disse risici i tankerne, at vi har formuleret et sæt konkrete anbefalinger. De skal sikre, at der er klare rammer for myndighedernes brug af algoritmer i sagsbehandlingen. Blandt vores vigtigste anbefalinger er:
Justitsministeriet skal udarbejde en vejledning til offentlige myndigheder om brugen af algoritmiske profileringsmodeller. Datatilsynet og Digitaliseringsstyrelsen bør inddrages, og der skal være fokus på de udfordringer, som modellerne stiller til retssikkerheden og borgernes grundlæggende rettigheder.
Inden en offentlig myndighed tager en ny algoritmisk model i brug, skal myndigheden vurdere, hvilke konsekvenser det kan have for borgerne. Er der risiko for forkerte eller usaglige afgørelser? Overholder modellen reglerne om persondata (GDPR)? Lever den op til det krav, der må være om åbenhed i forvaltningen?
Der bør være et offentligt tilgængeligt register af samtlige offentlige myndigheders brug af profileringsmodeller, som er rettet mod borgere.
Justitsministeriet må samarbejde med Datatilsynet, Digitaliseringsstyrelsen og Folketingets Ombudsmand om at sikre det nødvendige tilsyn med profileringsmodellerne. Det er med andre ord ikke nok, at de offentlige myndigheder selv vurderer deres egen brug af teknologien.
Institut for Menneskerettigheder bidrager naturligvis meget gerne med vores input til, hvordan styringsredskaberne i praksis kan se ud. For det er på høje tid, at Danmark vedtager klare rammer for algoritmerne. Det gælder om at styre en teknologi, som allerede buldrer afsted.
Halime Oguz til Sikandar Siddique: "Jeg kan næsten ikke være i mig selv over dit mageløse hykleri"
Sikandar Siddique til SF’er: Dine holdninger lyder stadig som Pia Kjærsgaards
