Voordat we de auto instappen voer ik op de navigatie-app Waze de straat en het huisnummer in van het Italiaanse restaurant waar wij die avond gaan eten. De af te leggen afstand is 23,6 kilometer en volgens de app zijn er geen bijzonderheden onderweg. Verschillende routes hebben een groene kleur en dat betekent dat er geen verhoogde verkeersdrukte is. Wanneer ik de kortste, snelste, en meest voor de hand liggende route naar het restaurant selecteer, krijg ik op het scherm de suggestie om de langste route te nemen.

Het is veiliger om niet door een bepaalde buurt te rijden en Waze beveelt een route aan die om deze wijk heenrijdt. Volgens de routeplanner gaat het om een ‘high-risk area’ met een zeer hoog misdaadcijfer. Het tijdsverschil is elf minuten en ik besluit de langzamere in plaats van de snellere route te nemen.

‘Gemeenschap bepaalt’

Waze is een gratis navigatie-app voor Android en iPhone, ontwikkeld in Israël en in 2013 gekocht door Google. Het biedt ‘community-based-verkeer’ aan, wat inhoudt dat de data van alle gebruikers als input dienen om de meest optimale route naar de plaats van bestemming te vinden. Hierdoor ontvang je op tijd een waarschuwing voor flitspalen, politie, wegwerkzaamheden en ongelukken die door andere Waze-gebruikers zijn gemeld.

Maar Waze waarschuwt via de ‘avoid dangerous neighbourhoods’-functie ook wanneer je op het punt staat een onveilige wijk binnen te rijden en beveelt routes aan die niet door deze buurten gaan, zelfs al zou je daardoor sneller op je eindbestemming aankomen.

Waze is de meest recente navigatie-app die met big data en algoritmes menselijk gedrag op een zachte manier in een bepaalde richting dirigeert. Aanvankelijk was de ‘avoid dangerous neighbourhoods’-functie alleen beschikbaar in Israël en Brazilië, maar inmiddels is ze uitgerold naar meer landen.

Routeplanners met een vergelijkbare functie zijn SketchFactor, RedZone en Ghetto Tracker, waarvan de naam later is gewijzigd in Good Part of Town. De apps gebruiken criminaliteitscijfers van politiekorpsen en klant reviews van buurten, en vullen die aan met actuele meldingen van gebruikers over criminaliteit en overlastsituaties in wijken. Een ‘higher crime risk area’ kleurt rood op het scherm en de navigatiestem kondigt aan dat je een ‘area with risk of crime’ nadert.

Ik noem deze psychologische prikkels om gedrag automatisch te beïnvloeden en emoties te sturen ‘algoritmische psychomacht’. Het instrument waarmee deze digitale machtsvorm wordt ingezet, is ‘hypernudges’. Deze termen werk ik hierna nader uit.

‘Psychopolitiek’ en Bernard Stiegler

De Franse filosoof Michel Foucault onderscheidt verschillende typen van macht. Volgens Foucault is de burger een te disciplineren en te verzorgen categorie van de bevolking. Enerzijds gebeurt dit via instrumenten zoals drillen en examineren in gevangenissen en scholen, waar personen tot gehoorzame subjecten worden gemaakt. Foucault noemt dit de „anatomo-politiek” van het menselijk lichaam. Anderzijds gebeurt dit via de controle van de volledige bevolking met regulatieprocedés om het leven als geheel welvarender, gezonder en veiliger te maken. Hij spreekt in dit verband van ‘biopolitiek’ – denk aan vaccinaties en de verbetering van de hygiëne.

Voor een goed begrip van algoritmische psychomacht is de foucaultiaanse blik maar in beperkte mate geschikt. Ze schiet tekort om zowel de digitale omslag in surveillance te bewerkstelligen als in de manieren waarop psychologische prikkels worden gegeven om ons gedrag in een gewenste richting te sturen. De beperkingen van het machtsdenken van Foucault worden des te duidelijker als daar tegenover de opvattingen van de Franse techniekfilosoof Bernard Stiegler worden geplaatst.

Net als Foucault is Stiegler geïnteresseerd in technieken als effect van machtsuitoefening, maar hij plaatst serieuze vraagtekens bij Foucaults nadruk op de disciplinering van het lichaam en de regulering van het biologische leven door de overheid.

Volgens Stiegler heeft een verschuiving plaatsgevonden van biopolitiek naar, wat hij noemt, ‘psychopolitiek’. Hij stelt dat er momenteel een strijd om de geest woedt, waarbij onze aandacht en verlangens voortdurend worden gevangen en geleid in de richting van meer consumptie (denk aan de gepersonaliseerde advertenties op internet die het menselijke bestaan reduceren tot het niveau van onmiddellijke behoeftebevrediging.)

In het geval van algoritmische psychomacht gebeurt iets vergelijkbaars. Het belangrijkste aangrijpingspunt van psychomacht is niet het lichaam en het leven, maar ‘de ziel’ of menselijke ‘geest’ (psyche) van burgers. We worden, met andere woorden, nog steeds gedisciplineerd, maar aan de basis liggen nu digitale technieken die aanhaken op het bewustzijn en ons verlangen. Dit laatste gebeurt door personen op beslissende momenten een psychologische prikkel te geven waardoor ze op een onopvallende, maar zeer krachtige manier in de gewenste richting worden gestuurd.

Ongemerkt sturen

In de literatuur staat dit bekend als ‘nudging’. Nudges, een Engels woord voor zetje of duw, wijzen burgers op een zachte manier in de goede richting zonder dat hun vrijheden worden ingeperkt. Klassieke voorbeelden zijn de sticker met het plaatje van de vlieg in het toilet die ervoor zorgt dat mannen in de wc-pot plassen in plaats van er buiten, gezonde producten op ooghoogte in de supermarkt, en het kleiner maken van borden en glazen in kantines.

Maar in het geval van algoritmische psychomacht zijn er minstens twee belangrijke verschillen. Anders dan bij deze klassieke nudges kan gedragssturing op een automatische manier voortdurend worden aangepast aan veranderende omstandigheden. Bovendien is het mogelijk om te personaliseren – dus op maat te maken, zodat alleen diegene wordt genudged waarvoor de nudge ook is bedoeld. Wanneer nudging wordt gecombineerd met big data en algoritmes en een specifiek in plaats van een generiek aangrijpingspunt heeft, kun je spreken van ‘hypernudging’.

In het geval van de navigatie-app Waze blijft de mogelijkheid tot een zelfstandige keuze aanwezig (met andere woorden: de kortste en snelste route), maar word ik als het ware verleid tot het maken van een andere keuze. Zo gebeurt er van alles met mij vanaf het moment dat Waze een ander route voorstelt naar het Italiaanse restaurant. De kleur rood op mijn beeldscherm maakt sterke emoties los en er is de associatie van rood met gevaar. In filosofische zin kun je stellen dat de verleiding door het object sterker is dan het verlangen van het subject om de route te nemen die de minste tijd kost.

In dit geval zie je ook hoe big data en algoritmes een onzichtbaar stedelijk prikkeldraad aanleggen. Je zou zelfs kunnen zeggen dat geo-surveillance een vorm van data-geweld genereert, minder zichtbaar dan verbaal of fysiek geweld, maar niet minder gewelddadig.

Dit vloeit voort uit het feit dat psycho-macht deel uitmaakt van politieke en economische structuren en een lange geschiedenis weerspiegelt van uitsluitingsmechanismen, die gebaseerd zijn op racistische denkbeelden over etniciteit en sociale klasse. Alleen de naam al: Ghetto Tracker. Ruha Benjamin schrijft in haar boek Race After Technology dat racistische processen van segregatie en territoriale stigmatisering via de achterdeur van tech-design weer binnenkomen. Alleen wordt dit ‘algoracisme’ niet of nauwelijks als geweld herkend of bestraft.

Mentale privacy

In veel gevallen zullen hypernudges manipulatieve trekjes hebben, omdat de prikkel de vorm aanneemt van een instructie en er wordt gestuurd op cognitieve processen waarover personen nauwelijks tot geen controle hebben. Dit kan onschuldige vormen aannemen en nobele doelen dienen, in het geval van zelf-oplichtende zebrapaden en lantaarnpalen die aangaan wanneer voetgangers passeren en die het meest veilige wandelpad bieden in woonwijken en op universiteitscampussen. Maar de inzet van hypernudges wordt discutabel wanneer hiervoor op grote schaal persoonlijke gegevens worden verzameld, zonder dat personen dit weten of hiervoor toestemming hebben gegeven.

Neem voetbalstadions, plekken waar algoritmische technieken van psychomacht juist worden ingezet om racisme en discriminatie uit te bannen. Slimme microfoons hangen boven de vakken met de meest fanatieke fans en nemen hun spreekkoren op om te analyseren of die racistisch zijn getint. Er wordt hierbij gesproken van ‘mood-detectie’. Wanneer de software racistische liederen herkent, worden automatisch positieve spreekkoren op billboards getoond om de sfeer in het stadion te beïnvloeden.

Naast kleuren (navigatie-app Waze) en geluiden (voetbalstadions) worden ook geuren ingezet voor gedragssturing en -beperking. Zo is in Stratumseind, een driehonderd meter lange straat in Eindhoven met kroegen en discotheken, met in het weekend zo’n vijftienduizend jongeren, geëxperimenteerd met de verspreiding van de kalmerende en rustgevende geur van sinaasappels om de agressie te verminderen en het veiligheidsgevoel te vergroten.

Grote hoeveelheden data worden hiervoor verzameld om op ieder moment met geur te kunnen interveniëren in de openbare ruimte, waaronder het afval op straat, geluidsniveau, weersinformatie, parkeerdichtheid, bierverbruik, politieaanwezigheid, jongeren die Stratumseind binnenkomen en verlaten, berichten op sociale media.

Met psychomacht en hypernudges dient een volgende ontwikkeling zich aan om ons gedrag te modelleren. Een die George Orwells 1984 in herinnering roept en zijn stelling dat de enige privacy in je hoofd te vinden is: „Niets was van jezelf behalve een paar kubieke centimeter in je schedel.”

Wanneer we waarde hechten aan ons mentale leven, dan zal de bescherming tegen ongewenste invloeden van buitenaf stevig moeten worden verbeterd. Hierbij kan worden gedacht aan een recht op mentale integriteit en de bescherming hiervan door het recht op mentale privacy. In het geval van psychomacht, emotieve verleiding via big data en algoritmes, is de vraag immers niet meer ‘wie je bent’, maar ‘hoe je je voelt’.

*) Deze tekst – waarvan eerder een versie verscheen bij NRC - is gebaseerd op de oratie (met beeld)  ‘Making Surveillance Public: Waarom we in gesprek moeten over big data en algoritmes als het over veiligheid gaat’ die Marc Schuilenburg op 23 juni 2023 uitsprak voor de Erasmus Universiteit waar hij hoogleraar Digital Surveillance is. Hij schreef Hysteria: Crime, Media & Politics |Twitter: @MarcSchuilen

**) Foto: Mats van Soolingen