AI-wetgeving EU en de Toeslagenaffaire

19/05/'21 - Op 21 april publiceerde de Europese Commissie (EC) haar langverwachte voorstel voor de regulering van Artificiële Intelligentie (AI). In ons vorige blog gaven we een overzicht van de belangrijkste punten. In dit blog duiken we de diepte in: had met deze regulering de Toeslagenaffaire voorkomen kunnen worden?

De Toeslagenaffaire: hoe het begon

De afdeling Toeslagen[1] gebruikte een risico-classificatiemodel dat een algoritme bevat om in te schatten hoe groot het risico is dat een aanvraag verkeerd is ingediend. Het gaat om een zelflerend model dat getraind moet worden met voorbeelden van juiste en onjuiste aanvragen. Vervolgens ‘leert’ het model wanneer een aanvraag het meest lijkt op een onjuiste aanvraag en dus een hoog risico heeft. Op basis van tientallen indicatoren komt het systeem tot een bepaalde risico-score. Een van de indicatoren die werd meegenomen in de beoordeling en leidde tot een hoger risico was het Nederlanderschap. Iemand die geen Nederlandse nationaliteit had, kreeg een hogere score in de risicoschatting.

De AI-regulering

Het grootste deel van het Europese voorstel gaat over AI-systemen met een hoog risico. AI-systemen die door autoriteiten worden ingezet om te bepalen of iemand recht heeft op uitkeringen of bijstand vallen in die categorie. Deze hoog-risico AI-systemen moeten vervolgens aan een lange lijst van vereisten voldoen. Het risico-classificatiemodel dat Toeslagen gebruikte, valt dus ook binnen deze categorie.

Een van de vereisten voor hoog-risico AI-systemen ziet toe op het juiste gebruik van data. Het voorstel schrijft voor dat de datasets die voor het trainen van het model worden gebruikt, relevant, representatief, vrij van fouten en compleet moeten zijn. Hier wordt het ingewikkeld. Wanneer is een dataset compleet? Is dit wanneer alle beschikbare data is verzameld die tot een accuratere risicoschatting leidt? De indicator ‘Nederlander/niet-Nederlander’ beïnvloedt het model en daarmee lijkt het model accurater te worden. Een andere vereiste is echter dat de data relevant is. Is het relevant om ‘Nederlander/niet-Nederlander’ mee te laten wegen als dit niet van invloed is op de beslissing of iemand in aanmerking komt voor kinderopvangtoeslag, maar wel tot een accuratere risico-classificatiescore leidt?[2]

Een andere vereiste voor AI-systemen met een hoog risico is transparantie. Dit type AI-systemen moet zo zijn ontworpen dat het voldoende transparant is zodat gebruikers de resultaten op de juiste manier kunnen interpreteren en gebruiken. In het onderzoeksrapport van de Autoriteit Persoonsgegevens (AP) valt te lezen dat de behandelende medewerkers van Toeslagen niet konden inzien op basis van welke indicatoren een aanvraag een bepaalde risicoscore kreeg. De medewerker wist dus niet waarom het systeem een casus selecteerde. Toch werd in sommige gevallen besloten om een voorschot niet uit te betalen. De mate van transparantie van het systeem schoot in dit geval dus tekort.

Voorkomt het voorstel een nieuwe Toeslagenaffaire?

Hierboven zijn slechts twee (onderdelen van) vereisten benoemd en besproken in het licht van de Toeslagenaffaire. Daarnaast werden de beslissingen nooit automatisch door het systeem genomen, maar werden de aanvragen altijd door mensen gecontroleerd. In het proces dat hierop volgde zijn nog vele fouten gemaakt. Het ging fout bij de politiek, bij de rechtspraak, bij ambtelijke bureaucratie en bij de zerotolerance-aanpak van fraude van kinderopvangtoeslag. Desalniettemin stelt het voorstel hoge en vele eisen aan hoog-risico AI-systemen. Toeslagen had zichzelf vragen moeten stellen die nu niet gesteld zijn. Ze waren verplicht geweest zich af te vragen of deze manier van verwerken van nationaliteit relevant is voor de aanvraag. Ze hadden zich moeten afvragen of dit discriminerend is en of het systeem wel in voldoende mate transparant was in de uitkomsten. Was de Toeslagenaffaire hiermee voorkomen? En kunnen we dan concluderen dat het voorstel een nieuwe Toeslagenaffaire zal voorkomen? Misschien niet, maar het had waarschijnlijk wel discriminatie door het systeem tegen kunnen gaan en de omvang van het schandaal kunnen beperken.

__

[1] Toeslagen is het organisatieonderdeel dat verantwoordelijk is voor het toekennen, uitbetalen en terugvorderen van kinderopvangtoeslag.

[2] De Autoriteit Persoonsgegevens beslist in haar onderzoek (juli, 2020) dat de verwerking van de nationaliteit voor een indicator voor het risico-classificatiemodel discriminerend is.

Jord Goudsmit Consultant Responsible Tech

Meer weten?

Meer weten over de voorgestelde AI-regulering? Meld je dan aan voor het gratis webinar op 15 juni over het Europese wetsvoorstel! 

Aanmelden