Uit onderzoek van de Algemene Rekenkamer bleken de bijzondere risico’s van het zestal algoritmes, op de volgende punten:

• gebrekkige controle op prestaties of effecten;
• vooringenomenheid;
• datalek;
• of ongeautoriseerde toegang.

Het toegepaste toetsingskader komt uit een eerder onderzoek, Aandacht voor Algoritmes, en bestaat uit 5 perspectieven waarbij het perspectief ethiek als rode draad verbonden is met de andere 4 perspectieven:

• Sturing en verantwoording: eenduidigheid doel;
• Model en data: in lijn met doelstellingen;
• Privacy: ondermeer wettelijke verplichting verwerkingsregister;
• ITGC: toegankelijke loginformatie;
• Ethiek: ethische richtlijnen.

Voor wie het wil toepassen: er is een downloadbaar Excel-model om in te vullen. Het rapport Algoritmes Getoetst past dit kader nu toe op negen overheidsalgoritmes, namelijk:

1. Rijksdienst voor Identiteitsgegevens: Ondersteuning bij de beoordeling van de kwaliteit van foto’s voor identiteitsbewijzen
2. Rijksdienst voor Ondernemend Nederland: Risicomodel dat gebruikt wordt bij de beoordeling van aanvragen voor de Tegemoetkoming Vaste Lasten (TVL)
3. Belastingdienst Toeslagen: Ondersteuning bij de beoordeling van aanvragen voor huurtoeslag in het toeslagenverstrekkingensysteem (TVS)
4. Centraal Bureau Rijvaardigheidsbewijzen: Ondersteuning bij de beoordeling van de medische rijgeschiktheid van mensen
5. Politie: het Criminaliteits Anticipatie Systeem (CAS) voorspelt waar en wanneer het risico op incidenten hoog is
6. Directoraat-generaal  (DG) Migratie: Zoekt intelligent in vreemdelingenpersoonsgegevens of iemand al eerder in Nederland is geregistreerd
7. Centraal Justitieel Incassobureau (CJIB): Koppelt gegevens voor verkeersboetes aan op kenteken geconstateerde verkeersovertredingen
8. SZW Inlichtingenbureau: Levert signalen aan gemeenten voor rechtmatigheidscontrole op bijstandsuitkeringen
9. Sociale Verzekeringsbank (SVB): Ondersteuning bij de beoordeling van AOW-aanvragen.

Allemaal algoritmes, maar niet allemaal van dezelfde soort. Het rapport legt netjes uit dat ook een simpele beslisboom telt als een algoritme, net als data-koppelingen voor uitwisseling. Bijvoorbeeld: ‘Als dit veld door filter X komt, dan is het een datum en dan is het volgende veld een achternaam.’

Lerende machines?

Maar er zijn ook algoritmes die ik ervan verdenk machine learning te zijn, zoals dat beoordelingssysteem voor fotokwaliteit van de RvIG of het lerende algoritme van de politie.

Verder hebben de algoritmes verschillende functies: vaak ondersteuning (technisch voorbereiden van data, een pre-selectie klaarzetten, zoekresultaten sorteren) maar soms ook besluitvorming (agent 40404 bij het CJIB) en soms van die twijfelgevallen zoals bij de ‘signalen’ van de SZW.

Die kunnen sturend worden opgevat, en leiden tot precision bias: het vooroordeel dat de computer gelijk heeft omdat deze objectief rekent en tien cijfers achter de komma heeft. Of omdat er bij iedereen wel wat te vinden is als je goed zoekt.

Het al dan niet besluitvormend zijn van een algoritme gaat overigens niet perse samen met complexiteit: het toekennen van toeslagen is een simpel algoritme dat toch besluiten neemt; al dan niet recht op huurtoeslag; wel of niet medisch geschikt om een auto te besturen. Dat kan logisch lijken in een standaardsituatie, zoals het rapport uitlegt:

Een aanvraag wordt automatisch goedgekeurd wanneer de aanvraag door het algoritme als laag risico is aangemerkt, bijvoorbeeld omdat het bedrag waarop de aanvrager aanspraak maakt laag is en er geen aanwijzingen voor misbruik of oneigenlijk gebruik zijn. In dat geval komt er geen ambtenaar meer aan te pas.

Bij elektronicawinkel Coolblue is er volgens mij zo’n simpel algoritme: een vaste klant (meer dan X aankopen in 6 maanden) die een product van minder dan 10 euro koopt en retourneert, mag het houden en krijgt zijn geld terug. En bij voedselbezorgers geldt vaak ook zoiets: minder dan X klachten per maand/kwartaal/jaar, dan klacht automatisch goedkeuren en geld terug. De kosten/baten analyse is dan evident.

Risicovolle selectie

Wat ging er zoal mis bij deze overheidsalgoritmes? Bij drie organisaties ging het eigenlijk om de IT-processen er omheen, zoals beheer, beveiliging en toegang). Dat sla ik even over. Een relevanter risico is de governance bij uitbesteding: de ontwikkeling en implementatie van de algoritmes of datamodellen is in handen van een externe partij, maar de overheidsinstantie houdt toezicht.

Dat ging mis bij dat beoordelingssysteem van fotokwaliteit Rijksdienst voor Identiteitsgegevens; een black box waar alleen goed/onvoldoende uit kwam, zonder dat men kon zien waarom, laat staan het selectiemechanisme bijstellen.

Het rapport noemt nog een belangrijke fout die ik ook herken uit de praktijk: vaak wordt bij de verwerking van gegevens in massale processen vertrouwd op foutmeldingen en gaat men ervan uit dat de afwezigheid van foutmeldingen een garantie is voor de juiste werking van het algoritme. Dat is echter niet altijd het geval.

Zeker als het gaat om ‘zwakke’ klanten, zoals bij bijstand of toeslagen moet je echt meer hebben dan een systeem met piepjes voor fouten. Dit is trouwens ook de reden waarom een systeem met ‘laag risico = automatisch goedkeuren’ riskant is; mensen kunnen onterecht in de bak laag risico zitten - of juist niet - en dat wordt dan niet opgemerkt.

Ook vooroordelen

De laatste die ik eruit licht, is de bias of vooringenomenheid in het model of de data. Dit is een lastige kwestie waarover veel te doen. Het onderwerp zit echter vol met misverstanden, bijvoorbeeld dat het vooroordeel gelijk staat aan het strafbare feit discriminatie. Vooroordeel kan echter zoveel behelzen zonder dat je meteen een ethische groep, gender of andere groep op de korrel wil nemen. Denk aan een aselecte steekproef uit de brondata, En zelfs als zo’n systeem expliciet onderscheid maakt naar bijvoorbeeld gender of etniciteit, dan kan dat onbedoeld zijn, of het gevolg van een onbewust onderscheid bij de mensen die de dataset hebben gevoed.

Het onderzoek van de Rekenkamer laat zien dat er zelden afdoende wordt gecontroleerd op vooroordeel of de over- of ondervertegenwoordiging van bepaalde groepen bij toepassing van algoritmes. Dat is wel belangrijk, want het kan zomaar je data in sluipen. Een voorbeeld:

Stel dat in het verleden samenwoonfraude intensiever is aangepakt en dat met deze gegevens een algoritme wordt ontworpen voor fraudedetectie. Dan zal het algoritme samenwoonfraude sneller voorspellen, omdat deze vorm van fraude vaker voorkomt in de data. En als samenwoonfraude vooral door vrouwen wordt gepleegd dan is sprake van een vooroordeel ten nadele van vrouwen toe.

Op eerdere artikelen die ik hierover schreef, kwamen reacties als: ‘Fraude is fraude, als je zo dus meer samenwoonfraude door vrouwen weet te vinden dan heb je meer fraude gevonden en die kun je dan bestrijden.’

Dat mag zo zijn, maar als overheid heb je ook de plicht om je fraudebestrijding eerlijk te verdelen, zonder onderscheid naar kenmerken zoals gender of etniciteit. Als de politie alleen mannen boetes geeft voor door rood licht fietsen, en de vrouwen laat gaan, dan klopt dat gewoon niet. Ook niet als de mannen het tien keer vaker doen.

Werking uitleggen

Dan nog het onderwerp transparantie, wat van belang is omdat je - onder meer vanwege de AVG -  moet uitleggen hoe zo’n systeem werkt en tot uitkomsten komt. Het rapport maakt onderscheid tussen technische en procedurele transparantie, en merkt terecht op dat weinig mensen willen weten hoe het technisch precies werkt.

De procedurele transparantie blijkt echter vaak afwezig, terwijl dat juist is wat de burger nodig heeft:

welke data worden er gebruikt en waarom?
Welke controle vindt er plaats op de machine?
Waarom wordt überhaupt het besluit toevertrouwd aan een algoritme?

Het rapport sluit af met een aantal aanbevelingen om bovenstaande beter door te voeren, ook bij organisaties die meer op afstand staan van de Rijksoverheid. Ik zou zeggen: ook de private sector kan dit prima oppakken.