Amerikaanse wetenschappers bieden fraaie lijst van indicatoren

Rapportcijfer voor algoritmen

“We moeten risico’s met AI even serieus nemen als andere grote uitdagingen, zoals klimaatverandering”. Dit tekende , tekende Dan Milmo in The Guardian op uit de mond van Google Deepmind directeur Demis Hassabis.

Het interview vond plaats aan de vooravond van het internationale topoverleg, over AI-veiligheid in Londen, met als doel niets minder dan “internationale overeenstemming bereiken over de toekomst van AI” . Dus met name effectieve inperking van de risico’s van biologische experimenten en cyberoorlog, waarmee kunstmatige intelligentie volgens sommigen zelfs tot uitsterving van de mensheid zou kunnen leiden.

Maar ook zonder dat het zover komt, waarschuwde een expert in Shimon Dotan's film 'Cyber World, The Future is Now'(2023): "Er is niet langer onderscheid tussen oorlog en vrede" (1h14m). In dat licht is het geenszins onbenullig om hier te focussen op de waarschuwing van het Amerikaanse Center for Research of Foundational Models (CRFM): “Fundamentele AI modellen zouden net zo ondoorzichtig kunnen worden als sociale media platforms en hun voorlopende technologieën, en zo hun falen kopiëren”.

CRFM, een samenwerkingsverband van Amerikaanse universiteiten onder leiding van Stanford University, presenteerde een lijst met 100 indicatoren voor AI-transparantie De aandacht voor bedrijfskundige- en politieke aspecten is winst vergeleken bij eerder schema’s van AI. Bijvoorbeeld wordt duidelijkheid verschaft over eventuele zakenpartners, een overzicht van (voor toepassing) relevante regulering en milieuvervuiling.

AI Hall of shame

Tien populaire AI-modellen werden alvast getoetst, van onder andere Google, Meta, Amazon en Open AI. Het resultaat is opmerkelijk:

  • Het hoogst scorende model scoort slechts 54/100 
  • Geen enkele van de majors verschaft adequate transparantie
  • De gemiddelde score is een magere 37/100

Voor de goede orde het gaat hier niet om scores op (tot nu toe ontbrekende) kwaliteitseisen, maar of de ontwikkelaars er uit eigen beweging gegevens over verstrekten. Brede toepassing van deze index zou regulering van AI snel effectiever kunnen maken. Tot nu bleef die steken bij vrijblijvende 'algoritme-registers' en goedbedoelde pleidooien voor transparantie.

Tech-ondernemers en technici houden de focus vooralsnog liever op hun vertrouwde terrein van technische testen, zoals genoemde Google-directeur Hassabis. Het is echter in de geest (of: race), van ‘meer is beter’. Dit Terwijl Matteo Pasquinelli en Vladan Joler overtuigend tonen dat bij AI vooral mensenwerk de zwakke schakel is. 

Regulering van toepassing van AI

Volgens Hassabis kan geen van de bestaande internationale instituties AI effectief reguleren, maar hij denkt dat we moeten starten met “iets dat lijkt op het IPCC, omdat dat wetenschappelijk onderzoek een verdrag is met rapportage en we vanaf daar verder kunnen bouwen.”

Ik geloof daar niet in en volg de kritische beschrijving van de IPCC-opzet door Jan de Boer: “Het IPCC onderzoekt zelf niets, baseert zich op geselecteerde studies van derden, en loopt dus altijd achter de feiten aan. Bij de publicatie van de IPCC-rapporten hebben de deelnemende landen bovendien altijd het laatste woord.  [. . .] Zij kunnen het zich politiek gezien in onze consumptiemaatschappij niet permitteren om hun ingezetenen in onze consumptiemaatschappij te laten weten dat er oneindig veel ingeleverd moet worden in de strijd tegen de klimaatopwarming, of dat het nu te laat is om het door de mensheid in gang gezette zesde massale uitsterven te keren.”

Ik stel dus geen IPCC-achtige opzet voor, maar harde beoordeling als onderdeel van de AI-Act, met minimum vereisten (scores) op genoemde AI indicatoren. Dan zien we vanzelf welke AI te vertrouwen is. Misschien ook de van de Verenigde Staten, die hun eigen AI Act lanceerden: ‘Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence’; overigens ook zonder de indicatoren van CRFM.

Educatie

Verplichte rapportages zouden jongeren moeten bereiken, die zelf aan de slag gaan met de indicatoren, zodat ze leren in wiens algoritmische fuik ze zwemmen. Van hun ouders en politici zullen ze dit namelijk niet horen. Want ook die zijn zich volkomen onbewust van de algoritmitmen die ons dagelijks leven in toenemende mate vormgeven, verzuchtte Bernard Stiegler. Voortbordurend op de beroemde allegorie van David Foster Wallace, waarin jonge vissen niet weten wat water is, stelde hij dat we allemaal vliegende vissen zouden moeten worden, die af en toe nog aan hun eigen ‘milieu’ herinnerd worden, teneinde dit niet langer als vanzelfsprekend of onveranderbaar aan te nemen.

Dus moet de minister van Onderwijs en Wetenschap serieus naar de lijst van indicatoren kijken. Want alleen daarmee kan ook worden afgerekend met alle politieke 'spin', 'framing' en 'second guessing' (in goed Nederlands), zoals met bijvoorbeeld de oproep tot een ‘Pauze voor AI-ontwikkeling’. Openbare scores op de index zullen ons de weg wijzen.

Dat past goed in ‘Professionalising data stewardship in the Netherlands: competences, training and education Dutch roadmap towards national implementation of FAIR data stewardship’ (PDF) van het ‘Nationaal Programma Open science.

De techindustie onderneemt allerlei pogingen om regulering uit te stellen, zoals met beloften van Mark Zuckerberg voor de Amerikaanse Senaat en de paginagrote advertenties met TikTok's schijnheilige geruststelling om Nederlandse jongeren voortaan niet langer van jongs af te profileren.

Varkens met lippenstift

Natuurlijk is internationaal topoverleg niet onbelangrijk. Want zoals Stuart Russel in Cyber World, The Future is Now'  helder stelt: “zijn nucleaire wapens erg genoeg dus we zitten zeker niet te wachten op iets veel gevaarlijkers” (1h18m). In een voorgaand fragment is een drone met explosieven de zaal in gesmeten, die automatisch een etalagepop tussen de ogen raakt en bondig opmerkt: “nuclear is obsolete”'. In deze filosofie kan elk autonoom systeem een wapen worden.

Als een AI-model niet door de toets komt, moeten we kunnen overstappen. Maar kan dat ook gezien de machtsposities van de grote spelers? Josh Constantine betwijfelt het: “Regelen we dit niet, dan zadelt regulering ons alleen maar op met varkens met een andere kleur lipstick.”

Een lichtpuntje: open source ontwikkelaars geven het goede voorbeeld. Twee AI-programma’s kregen de hoogste score, te weten Meta's Llama 2 en Hugging Face's Bloomz, En Stability AI was vierde in de top tien van boordelingen. We zouden als overheden open source toepassingen eens een tijdje voorrang moeten geven. Een schone taak voor politici die AI effectief willen reguleren.

 

Rapportcijfer voor algoritmen

Gepubliceerd

4 nov 2023
Netkwesties
Netkwesties is een webuitgave over internet, ict, media en samenleving met achtergrondartikelen, beschouwingen, columns en commentaren van een panel van deskundigen.
Colofon Nieuwsbrief RSS Feed Twitter

Nieuwsbrief ontvangen?

De Netkwesties nieuwsbrief bevat boeiende achtergrondartikelen, beschouwingen, columns en commentaren van een panel van deskundigen o.g.v. internet, ict, media en samenleving.

De nieuwsbrief is gratis. We gaan zorgvuldig met je gegevens om, we sturen nooit spam.

Abonneren Preview bekijken?

Netkwesties © 1999/2024. Alle rechten voorbehouden. Privacyverklaring

1
0