De scriptieprijs ging afgelopen vrijdag 20 september in de Rechtenfaculteit van Universiteit Leiden naar Roosmarijn Hobbelen omdat haar puur juridische benadering de juristen van de jury (Anna Berlee, Aline Klingeberg, Sippe van der Tas en Gerrit-jan Zwenne) het meest aansprak. De winnende scriptie komt apart aan bod.

Voor de minder ingevoerde experts spraken twee andere presentaties wellicht meer tot de verbeelding, juist vanwege de levendige onderwerpen. Die lagen in elkaars verlengde: over het traceren en beïnvloeden van gedachten van individuen, en de omgang met emoties en de AI Act.

Uitreiking Scriptieprijs VPR, met juryleden en genomineerden v.l.n.r  Aline Klingeberg, Anna Berlee, Kimmy Shah, Hannah Appel, Sippe van der Tas, Gerrit-jan Zwenne en Roosmarijn Hobbelen

Vrije gedachten?

Vooral de eerste presentatie van Kimmy Shah tot de verbeelding, vlot en expressief, bondig en inhoudelijk boeiend. Titel: “I Think, Therefore They Know. Exploring the Challenge to the Freedom of Thought by Online Commercial Practices and the Regulatory Implications for the GDPR in the European Union.” De jury, onder voorzitterschap van Gerrit-Jan Zwenne, daarover:

“Haar scriptie over de vrijheid van denken is zeer ambitieus, innovatief en tot nadenken stemmend. De jury houdt van de breedte en originaliteit van de vragen die de scriptie behandelt en waardeert hoe de auteur de reikwijdte van de AVG theoretiseert en verkent, in het bijzonder hoe het recht op privacy en gegevensbescherming zich verhoudt tot andere fundamentele rechten, zoals het recht op vrijheid van gedachte, geweten en godsdienst.

Het recht op gegevensbescherming is erop gericht om risico's van manipulatie en verlies van autonomie te beperken. In dat licht is het verrassend dat wetenschappers weinig aandacht besteden aan die relatie. Kimmy's proefschrift wil die leemte opvullen. En volgens de jury is ze daarin geslaagd.”

Freedom of Thought (FoT) of vrijheid van denken is vastgelegd in het Handvest van de Grondrechten van de Europese Unie (CFR) en het Europees Verdrag voor de Rechten van de Mens (EVRM).

Geen straf voor ‘foute’ gedachten

Kimmy Shah keek naar de relatie tot de GDPR of AVG. Immers, toename van dataverwerking, vooral met winstoogmerk, stelt FoT voor nieuwe, grote uitdagingen, in drie elementen:

• het recht om gedachten privé te houden;
• vrijheid van bestraffing voor gedachten
• vrijheid van ontoelaatbare beïnvloeding.

Conclusie: de AVG biedt weliswaar essentiële bescherming, maar schiet tekort in het waarborgen van FoT in de online omgeving. Immers, intensieve dataverzameling en analyses leiden tot conclusies over de geestestoestand inde vorm van gedetailleerde profilering in databanken. Op die gedachten kan de dataverzamelaar inspelen met gedragsbeïnvloeding.

Zulke sturing in interactie kan alle drie de genoemde elementen - geestelijke privacy, ongestraft en soeverein denken - in gevaar brengen. De AVG reguleert weliswaar de dataverwerking, maar schiet volgens Shah tekort in het begrenzen van beïnvloeding van het denken.

En de AI Act dan? Die vult de gebreken van de AVG niet goed aan. Gedachten als data zijn daarin evenmin apart erkend. Kimmy Shah vindt dat data over gedachten expliciet als gegevens van een speciale categorie benoemd moeten worden in wetgeving. Dan kun je de waarborgen tegen profilering en geautomatiseerde besluitvorming op basis van die data over gedachten beperken gegevens.

Dan zou ‘geïnformeerde toestemming’ moeten verbeteren, plus de mogelijkheid om besluiten op grond van gedachten aan te vechten. Toestemming is overigens geen panacee tegen  privacyschending, zo merkte de jury vrijdag op. Mensen geven vaak onbewaakt toestemming.

Blijft volgens mij de filosofische vraag: hoe komen gedachten, en de beïnvloeding daarvan, dan aan de oppervlakte? Immers, je kunt pas bescherming bieden bij de uiting van die gedachten, zoals in religie en politiek. Wat je voor jezelf houdt, behoeft geen bescherming. Of juist wel gezien de online manipulatie?

Dus aan de ene kant komen gedachten pas tot uiting met handelingen. Aan de andere kant worden gedachten vanaf de eerste seconde van een online confrontatie beïnvloed. Kun je de schending van de drie door Shah onderscheiden rechten – voor jezelf houden van gedachten, er niet voor bestraft worden en ongewenste beïnvloeding – afdoende hard maken?

Wellicht is er een begin in neuromarketing dat hersenonderzoek inzet voor commerciële en soms ideële doeleinden. Dat onderzoek vindt echter plaats met geanonimiseerde biometrische gegevens, waaruit vervolgens tactieken worden gedistilleerd voor maximaal effect van boodschappen, al dan niet commercieel van aard.

Emoties boekstaven

Dit is de link naar de andere privacyscriptie die de eerste prijs van 2024 niet won, van Hannah Appel: “Protecting Human Digiity in the Age of Emition Recognition: Analysing the Effectiveness of Specific Transparancy un der the AI Act.” De Jury:

“Hannah Appel  schreef een scriptie over op technologie gebaseerde emotieherkenning (affective computing) die menselijke kenmerken analyseert zoals gezicht, stem, gesproken – en lichaamstaal, tekst en fysiologische signalen. Hoe wordt dit gereguleerd door de AI-wet? Dit gaat niet over de AVG, maar emoties en gegevens over emoties zijn wellicht de meest persoonlijke gegevens. Advocaten in gegevensbescherming moet behalve de AVG ook de AI-wet goed kennen.”

Appel benoemd het grote belang van onderzoek naar emoties en privacy als volgt: “Mensen vergeten wat je hebt gezegd, mensen vergeten wat je hebt gedaan, maar mensen zullen nooit vergeten hoe je ze hebt laten voelen.”

Emoties behelzen subjectieve ervaringen, fysiologische respons en gedragsrespons, dus mentale en fysieke uitingen als gevolg van gedachten en waarnemingen. Emoties zijn inherent subjectief en weerspiegelen het innerlijk van een mens naar de buitenwereld.

In 1997 fundeerde Rosalind Picard de op technologie gebaseerde emotieherkenning in ‘affective computing’ of logica voor emotieherkenningssystemen (ERS), met toepassing van AI oftewel algoritmen getraind op grote datasets.

Marketing maakt er dankbaar gebruik van, vooral de sociale media voor het genereren van maximale emotionele aandacht en dito reclameopbrengsten. Positiever toepassing van emotieherkenning voor optimalisatie is er ook, bijvoorbeeld van de auto-industrie die ERS gebruikt om tot verbetering van veiligheid te komen.

Het is een markt van zo’n 30 miljard euro per jaar, onder meer behaald in de zorg en biowetenschappen, financiële diensten en (detail) handel. En de omzet daarvan  groeit, met jaarlijks zo’n 17 procent.

De AI Act (AIA) is gebaseerd op risicocategorieën naar gelang de invloed van uitkomsten op het handelen. De High-Level Expert Group on AI (HLEG) van de Europese Commissie had het respecteren van de menselijke waardigheid als uitgangspunt. Dat werd eerst vertaald in eisen voor transparantie, reden voor een enquête door Appel.

Hoog risico bij online emoties gebruiken

Echter, zo concludeert zij, louter de verplichting tot transparantie voor instanties bij de toepassing van AI biedt beperkte bescherming tegen mogelijke negatieve effecten van emotieherkenning op de menselijke waardigheid en de grondrechten.

Latere versies van de AI Act - terwijl de scriptie al werd geschreven – werden strenger, met toevoeging van risicoclassificatie. In principe zijn de risico’s van alle soorten emotiedetectie volgens Appel als onaanvaardbaar te classificeren onder de AI Act, en zouden dus a-priori verboden moeten zijn. Om dit te voorkomen moeten intenties van bedrijven en overheden bij toepassing van ervan worden onderzocht.

“Hoewel ERS ook een positieve invloed kan hebben op de menselijke waardigheid en fundamentele rechten, moeten we zorgen dat het gebruik ervan alleen is toegestaan als de voordelen voor individuen opwegen tegen de risico's.”