Responsible AI Guide

13/06/2023 - In het ontwikkelen van verantwoorde AI-systemen, kan uw AI-systeem geconfronteerd worden met verschillende wetgeving, zoals de AVG, de aankomende AI Act en er moet rekening gehouden worden met mensenrechten en ethische afwegingen. Dit leidt tot een complexe en soms onoverzichtelijke situatie. Om dit proces te vereenvoudigen heeft prof.mr.dr. Bart Schermer (Considerati) in samenwerking met CuriosityVC en Deeploy de Responsible AI guide geschreven. Aan de hand van deze guide kunt u op een effectieve manier toewerken naar een verantwoorde inzet van uw AI-systeem. 

In de guide wordt de ontwikkelcyclus van een AI systeem opgedeeld in vier fasen waarover de verschillende vereiste stappen voor het verantwoord ontwikkelen van AI zijn verspreid. De vier fasen bestaan uit:  

1. Toepassing en bedrijfskennis  
2. Inzicht in data en data governance 
3. Modelontwikkeling 
4. Implementatie, monitoring en feedback   

De vier fasen van de guide kunnen aan de hand van een voorbeeld scenario worden uitgelegd: een gemeente huurt een adviesbureau in om een machine-learning model te bouwen voor het detecteren van potentiële fraude bij subsidieaanvragen. Hiervoor wordt vervolgens een extern, open-source framework voor machine-learning gekozen en wordt er data ingekocht van een internationaal marketingbureau. Wanneer het AI-systeem wordt ingezet blijkt het bevooroordeeld te zijn tegen vrouwen, waarschijnlijk omdat de trainingsdata niet representatief was. De Responsible AI Guide kan in deze situatie ondersteuning bieden om meer inzicht te krijgen in welke fase van de ontwikkelcyclus er fouten zijn opgetreden. In dit voorbeeld wordt de Responsible AI Guide achteraf gebruikt, maar de handleiding ontleent zich uitstekend om juist tijdens het ontwikkelproces toegepast te worden.  

Toepassing en bedrijfskennis 

De guide begint met de noodzaak om doelstellingen te definiëren en risico’s in kaart te brengen en te beperken. In dit geval heeft de gemeente als doel om potentiële fraude bij subsidie aanvragen te detecteren en het adviesbureau maakt hiervoor een AI-systeem. Dit doel verschilt van de doelstellingen van de makers van het framework voor machine learning en het internationale marketingbureau. Deze hebben respectievelijk het doel om een machine-learning framework op te stellen dat een model kan trainen, en het verzamelen van zoveel mogelijk trainingsdata voor marketing doeleinde. Dit leidt direct tot risico’s, aangezien de wisselende doelstellingen ervoor kunnen zorgen dat de actoren niet goed op elkaar aansluiten. In de voorbeeld situatie is dit  zichtbaar in de trainingsdata die het marketingbureau heeft verzameld, deze blijkt niet geschikt voor de toepassing die het adviesbureau ermee voor ogen had. De trainingsdata is namelijk bevooroordeeld tegen vrouwen en kan zo niet de doelstelling van de gemeente behalen, namelijk het detecteren van (potentiële) fraude. 

Inzicht in data en data governance 

We zien in de situatie dat de degene die de gegevens verzameld verschilt van degene die ze toepast, het adviesbureau koopt namelijk de data in bij het marketingbureau. Hierdoor is het adviesbureau verminderd in staat om de legitimiteit, kwaliteit en representativiteit van de data en dataverzameling vast te stellen, aangezien dit belegd is bij een externe partij.  

Modelleren 

In het scenario maakt het adviesbureau gebruik van een open-source framework voor het trainen van het model. Echter moet het adviesbureau wel de kwaliteit van dit framework kunnen waarborgen. Het framework moet leiden tot modellen die robuust en veilig zijn en die rechtvaardige uitkomsten produceren. Hiervoor moeten er duidelijke procedures zijn opgesteld voor het modelleren, testen en valideren van het model. Aangezien dit framework extern is ontwikkeld en het adviesbureau geen expert is in het ontwikkelen van machine learning frameworks, ontstaat er een risico dat het de kwaliteit en de risico’s van het framework onvoldoende kan inschatten voor de bedoelde toepassing. 

Implementatie en monitoring 

Wanneer het model uiteindelijk in gebruik wordt genomen door de gemeente, moet deze ervoor zorgen dat er effectief (menselijk) toezicht wordt gehouden, dat degene die het model gaan inzetten worden voorzien van de juiste training en dat de modeluitkomsten kunnen worden verklaard. De gemeente heeft doordat het de bouw van het model heeft uitbesteed, waarschijnlijk niet voldoende kennis van de werking van het systeem om deze taken zelf toereikend uit te kunnen voeren. 

Next steps 

Bent u zelf een AI-systeem aan het ontwikkelen en twijfelt u of u voldoet aan de aankomende AI-act? Het uitvoeren van een IAMA kan inzicht bieden voor een verantwoorde inzet van AI-systemen. Voor meer informatie over het IAMA en het verantwoord ontwikkelen van AI-systemen, kunt u graag contact met ons opnemen. 

Bent u benieuwd naar de Responsible AI Guide? U kunt het document downloaden via deze link.