Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens (AP), waarschuwt voor het wijdverbreide gebruik van discriminerende algoritmen bij verschillende overheidssystemen. Hij stelt dat de AP in vrijwel alle systemen die ze onderzoekt discriminatie ontdekt, waarbij een goede onderbouwing van de gebruikte risico-indicatoren ontbreekt. AI-wetenschapper Joris Krijger wierp daarna de vraag op of de overheid voldoende ‘ethische infrastructuur’ heeft om afwegingen te maken tussen efficiënte en eerlijke beslissingen.

Vooropgesteld: ik ben het roerend met Krijger en Wolfsen eens dat algoritmen heel vaak ontzettend handig zijn. Vorig jaar nog concludeerden we dat de minister van Sociale Zaken en Werkgelegenheid (SZW) door de inzet van een algoritme een belangrijk knelpunt heeft opgelost om het bestaansminimum te garanderen aan burgers bij wie beslag wordt gelegd op hun inkomen.

Risico’s toetsen

Algoritmen maken werk efficiënter, ze besparen tijd en geld. Een wereld zonder is inmiddels ondenkbaar. Maar ze brengen ook onmiskenbaar risico’s met zich mee, dus is het van doorslaggevend belang dat ze aan randvoorwaarden voldoen. Niet louter dat ze niet discrimineren, maar ook dat informatie veilig wordt opgeslagen, risico’s bewust worden afgewogen en dat ze doeltreffend zijn.

Als Algemene Rekenkamer doen we daarom veel onderzoek naar algoritmen bij het Rijk. We ontwikkelden een toetsingskader om algoritmen te kunnen controleren op al deze voorwaarden. In 2022 pasten we dat toe op negen algoritmen. Daar zat van alles tussen: van de politie tot de dienst toeslagen en van een algoritme voor bijstandsuitkeringen tot een systeem van het Centraal Bureau Rijvaardigheidsbewijzen (CBR) dat bekijkt of mensen medisch rijgeschikt zijn.

Inmiddels staat de teller op dertien onderzochte algoritmen. Het geeft ons een mooie dwarsdoorsnede van het gebruik ervan. Conclusie: risico’s zijn er zeker. Slechts drie van de eerste negen voldeden aan alle basisvereisten. Maar die risico’s zijn zeer uiteenlopend. Zo nu en dan treffen we het risico op discriminatie aan, maar er zijn veel systemen waar het juist schort aan andere zaken, zoals de privacy waarborgen, IT-beheer, of afspraken bij uitbesteding.

Marechaussee

Afgelopen jaar hielden we onder andere een systeem van de Marechaussee tegen het licht, voor selectie van binnenkomende vluchten voor intensievere controles. Dat werkt met risicoprofielen, die de slechte reputatie hebben dat ze discriminerend van aard kunnen zijn. Maar daar kun je scherp op letten en het voorkomen.

We constateerden dat de Marechaussee inderdaad serieus werk maakt van de risicobeheersing rondom de inzet van het algoritme. Zo is er een stuurgroep om de profielen regelmatig te beoordelen. Zo kun je zorgdragen onbevooroordeeld en uitlegbaar houden van je algoritme. We zagen echter risico’s in IT-beheer bij de Marechaussee: onbevoegden zouden toegang kunnen krijgen tot het algoritme en wijzigingen aanbrengen. Dus niet discriminatie was het probleem, maar beveiliging.

Het is te gemakkelijk om louter op discriminatie te focussen, of zelfs te veronderstellen dat alle systemen discrimineren; dat is het overkoepelende beeld van de Rekenkamer na het schrijven van stapels onderzoeksrapporten over algoritmen. Bovendien garandeert een onbevooroordeeld algoritme geen onbevooroordeelde organisatie. Overal werken immers mensen van vlees en bloed, die elke dag professionele afwegingen maken.

We treffen soms systemen aan waarmee organisaties onvoldoende kunnen aangeven waarom ze een bepaald onderscheid maken. Dan bestaat de kans dat een algoritme discrimineert. Maar andere organisaties gaan daar bewust mee om, om de kans op fouten te minimaliseren.

Dan kunnen algoritmen gewoon doen waar ze voor bedoeld zijn: de overheid efficiënter maken zodat burgers en bedrijven daar vervolgens weer van profiteren.

*) Ewout Irrgang is lid van het college van de Algemene Rekenkamer. Een versie van dit opinie-artikel verscheen op 1 augustus 2024 in de Volkskrant