Het juridische landschap rondom kunstmatige intelligentie (AI) is door de inwerkingtreding van de AI Act op 2 augustus 2024 begonnen, maar roept in de praktijk nog de nodige vragen op over de feitelijke toepassing.

Dat ook de Autoriteit Persoonsgegevens (AP) zoekende is, blijkt uit haar Oproep voor input: verbod op manipulatieve en uitbuitende AI-systemen door de Directie Coördinatie Algoritmes (DCA) van  27 september 2024, gericht aan belanghebbenden: “burgers, overheden, bedrijven en andere organisaties”.

In artikel 5 van de AI Act is een limitatieve opsomming opgenomen van AI-systemen die – gelet op onaanvaardbaar risico – verboden zijn vanaf 2 februari 2025. De consultatie van de AP richt zich op deze categorie systemen:

“AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen.”

AP nog niet bevoegd

De toezichthouder op de AI Act moet handhavend, maar mag niet zonder meer optreden bij alle AI-systemen ‘waaraan een luchtje zit’. Hij moet “voldoende reden” hebben “om van mening te zijn dat een AI-systeem een risico vormt”. Pas dan mag hij een evaluatie van het systeem uitvoeren om te beoordelen of dit voldoet aan de vereisten uit de AI Act, en dus: niet verboden is.

Of sprake is van een risico volgt expliciet uit artikel 3 (punt 19) van de AI Act, kortweg of er risico’s zijn voor de gezondheid, veiligheid of grondrechten van personen. De nationale waakhonden mogen de criteria niet zelf bepalen, er wel aan toetsen en verboden uitvaardigen. 

De AP lijkt met haar consultatie voor te sorteren op een aanwijzing als nationale toezichthouder onder de AI Act voor verboden AI-systemen, want deze aanwijzing ontbreekt nog. De ministeries van Economische Zaken en Rechtsbescherming hebben hier nog tot 2 augustus 2025 de tijd voor. Deze taak kan bij de AP worden belegd, maar de kans bestaat dat een andere of geheel nieuw op te richten autoriteit zal worden aangewezen.

Naming en shaming

Opmerkelijk is ook de korte doorlooptijd die de AP heeft verbonden aan haar uitvraag. Uiterlijk op 17 november 2024 dienen belanghebbenden input te leveren. Dit betekent dat de AP vanaf dat moment over zeer gevoelige (persoons)gegevens komt te beschikken, terwijl hiertoe taak noch bevoegdheid uit de AI Act en/of haar rol als DCA voortvloeit. Juist van de AP, als toezichthouder gegevensbescherming, mag je meer zorgvuldigheid bij de verwerking van gegevens verwachten.

Te meer, nu de kans op naming and shaming, bijvoorbeeld door een boze klant, belangenorganisatie of een concurrent. De AP verzoekt immers belanghebbenden om concrete melding te maken van bestaande AI-systemen die mogelijk verboden zijn, door antwoord te verlangen op indringende vragen:
Kunt u voorbeelden geven van systemen die zijn gebaseerd op AI en die (mogelijk) leiden tot manipulatieve of misleidende en/of uitbuitingspraktijken?
Kent u voorbeelden van AI-systemen die gebruikmaken van subliminale technieken?

Illegaal?

Wat is de AP van plan te doen met de verkregen inzichten? Worden deze in een beveiligde, afgesloten omgeving bewaard, totdat duidelijkheid bestaat over de eventuele rol van de AP als nationale markttoezichthouder?

En worden deze vervolgens gebruikt om concrete, mogelijk verboden AI-systemen te detecteren en aan een onderzoek te onderwerpen? Is dit een fishing expedition, waarbij de AP hoopt om iets te ‘vangen’ met haar consultatie als figuurlijke hengel?

Als de inzichten pas worden gebruikt als de AP als toezichthouder onder de AI Act is aangewezen, is de legitimiteit van de huidige uitvraag twijfelachtig. Is dit wel de meest gepaste wijze om verboden AI-systemen te identificeren? In de AI Act wordt met geen woord gerept over deze methode om op nationaal niveau handhavend op te treden tegen verboden AI-systemen. 

Onzekerheden

In de uitvraag wordt geen antwoord gegeven op deze vragen. Wel geeft de AP aan dat ze een “samenvatting en appreciatie van de inbreng” zal publiceren, waarna de input wordt verwijderd. Onbekend is echter wanneer zij deze publicatie zal uitbrengen. Op korte termijn of pas na eventuele aanwijzing als toezichthouder?

En hoe wordt function creep, de situatie waarbij de verkregen inzichten toch ook (onverhoopt) worden gebruikt voor handhavingsdoeleinden, voorkomen? Die vraag is des te prangender, nu de AP in de uitvraag benadrukt dat, indien gewenst, in haar rapportage naamsvermelding van organisaties of groeperingen mogelijk is. 

De door de AP “opgedane kennis” kan ze bovendien delen met andere (Europese) AI-toezichthouders. Is dat alleen met het oog op onderlinge kennisdeling, of wordt deze informatie ook breder gebruikt voor handhaving? De uitvraag geeft hierover geen uitsluitsel. 

Brussel bepaalt criteria

In de uitvraag geeft de AP verder aan dat zij de input gebruikt voor het leggen van een voorbereidende basis voor verdere uitleg van de verboden in de AI Act. Hoewel de poging van de AP om transparant te zijn over dit perspectief op de handhaving prijzenswaardig is, is het niet aan de AP om een toetsingskader te bepalen, mocht ze toezichthouder worden.

In de AI Act wordt het opstellen van criteria voor verboden praktijken expliciet belegd bij de Europese Commissie. Dat is niet onlogisch, want dan krijg je in elke lidstaat gelijke voorwaarden.

Al met al had de AP haar “eerste oproep voor input” beter achterwege kunnen laten en de aanwijzing tot markttoezichthouder kunnen afwachten, terwijl de Europese Commissie in de tussentijd de richtsnoeren met de uitleg opstelt voor het verbieden van AI-systemen.

Door het uitbrengen van de consultatie heeft de AP meer vragen opgeroepen dan beoogd beantwoord te krijgen.

*) Laura Poolman is bij Kennedy van der Laan  advocaat gespecialiseerd in Europees en Nederlands privacy- en databescherming