5/11/'21- Op 25 oktober publiceerde Amnesty International het rapport "Xenofobe Machines" waarin het stelt dat de Nederlandse overheid zich bij de opsporing van fraude met kinderopvangtoeslag schuldig heeft gemaakt aan etnisch profileren. Amnesty beveelt een verplichte mensenrechtentoets aan bij het gebruik van algoritmische besluitvorming. Die toets is inmiddels ook al ontwikkeld in opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK); de Impact Assessment Mensenrechten en Algoritmes (IAMA). Deze is niet verplicht. Maar is het daarmee vrijblijvend?
Amnesty schrijft in het rapport dat als er voor het gebruik van het risicoclassificatiesysteem onderzoek was gedaan naar de mogelijke schade bij gezinnen, de risico’s beperkt hadden kunnen worden. Zij stelt in de aanbeveling: “Regeringen moeten een verplichte en bindende mensenrechtentoets invoeren bij het gebruik van algoritmische besluitvormingssystemen in de publieke sector, ook wanneer deze systemen worden gebruikt door wetshandhavingsinstanties.”
In dezelfde week verscheen ook een notitie van het Rathenau Instituut over de rol van de Eerste Kamer bij de controle op algoritmische besluitvorming. Het is de taak van de Eerste Kamer om te controleren of een eventuele inbreuk op grond- en mensenrechten door AI gerelateerde wetgeving gerechtvaardigd is. Ook het Rathenau Instituut verwijst naar de IAMA als potentieel middel om in te zetten in haar controlerende taken. Kortom; er lijkt druk te ontstaan om het IAMA een verplichtender karakter te geven.
In de afgelopen jaren zijn er voor het verantwoord gebruik van Artificial Intelligence diverse normen- en toezichtkaders, handreikingen en methodieken verschenen. Hoe waardevol ook; het risico bestaat dat een ontwikkelteam door de bomen het bos niet meer ziet. Het IAMA kan hierin een uitkomst bieden. Het geeft structuur aan het denken over impact op mensenrechten.
Het IAMA is dit jaar in opdracht van het ministerie van BZK ontwikkeld naar aanleiding van de toeslagenaffaire en de wens van de Tweede Kamer om meer grip te krijgen op algoritmische toepassingen. Met deze toets kunnen teams in een vroeg stadium, op een gestructureerde manier, discussiëren over alle relevante aandachtspunten rondom de inzet van algoritmen. Het doel is om te voorkomen dat een algoritme wordt ingezet terwijl de consequenties daarvan nog niet goed in beeld zijn.
Het IAMA is een lijvig assessment. Het bestaat uit vier afzonderlijke onderdelen, ruim 90 pagina’s en zo’n 50 vragen die door een multidisciplinair team beantwoord moeten worden. Het is een flinke investering voor teams die vaak toch al onder druk staan om deadlines te halen.
Uit diverse pilots met een eerste versie van de IAMA is gebleken dat het assessment goed helpt om op een gestructureerde manier de impact op mensenrechten af te wegen. In een aantal sessies worden de diverse onderdelen en vragen doorlopen in een multidisciplinair team. Uit de pilots is ook gebleken dat het efficiënter is als er een procesbegeleider bij betrokken is die helpt bij het organiseren van de sessies, het faciliteren van de discussies en de verslaglegging.
Ben je benieuwd hoe je de IAMA effectief kunt inzetten binnen jouw organisatie? Of ben je op zoek naar expertise bij de uitvoering van een IAMA? Neem dan gerust contact op via schoenmakers@considerati.com of vul onderstaand contactformulier in.