Geautomatiseerde Besluitvorming Onder de Loep van het Hof van Justitie

02/01/2024 - Recentelijk heeft het Hof van Justitie van de Europese Unie (hierna: het Hof) een belangrijke uitspraak gedaan over de relatie tussen ‘credit scoring’ en geautomatiseerde besluitvorming in de context van de AVG. De implicaties van de uitspraak beperken zich niet enkel tot credit scoring, maar strekken mogelijk ook tot AI gebaseerde besluitvorming.

Credit scoring 

De kern van de zaak betrof het Duitse kredietbureau SCHUFA dat informatie verstrekt over personen aan kredietverleners. Deze informatie werd gebruikt door de kredietverleners bij hun beslissing of een lening werd verstrekt of niet. Het identificeren van correlaties en het opstellen van groepsprofielen zijn gangbare praktijken bij het beoordelen van de kredietwaardigheid van klanten, een proces dat bekend staat als 'credit scoring'. Als iemand bijvoorbeeld een betaling mist en daardoor geregistreerd wordt bij een incassobureau, kan dit leiden tot een lagere credit score. Zo'n registratie kan voor banken een doorslaggevende factor zijn om een lening aanvraag af te wijzen, wat erg nadelig kan zijn voor de personen in kwestie. 

Elementen van geautomatiseerde besluitvorming 

"Het Hof somde de elementen op die nodig zijn om te spreken van geautomatiseerde besluitvorming: 

1. Ten eerste moet er daadwerkelijk een besluit worden genomen;
2. Ten tweede moet dit besluit uitsluitend voortkomen uit geautomatiseerde verwerking, waaronder ook profilering valt;
3. Ten derde moet het besluit juridische gevolgen hebben of op een andere manier een betrokkene in aanmerkelijke mate treffen.

Opmerkelijk was dat het Hof erop wees dat het in deze zaak voldoende was dat er sterk op de geautomatiseerde verwerking werd geleund. Verder legde het Hof uit dat ‘besluit’ een breed begrip is en dat de berekening van de credit score er in deze zaak ook onder valt. "

Bredere definitie van geautomatiseerde besluitvorming 

Het Hof oordeelde daarnaast dat niet alleen de beslissing zelf, maar ook de voorbereidende handelingen als die leiden tot die beslissing gezien kunnen worden als geautomatiseerde besluitvorming. Daarmee ligt het belang van deze uitspraak in het feit dat het een bredere interpretatie van geautomatiseerde besluitvorming introduceert. Volgens Artikel 22 van de AVG is dergelijke besluitvorming verboden, tenzij aan bepaalde voorwaarden wordt voldaan, zoals uitdrukkelijke toestemming van de betrokkene. Deze uitspraak benadrukt dat de verantwoordelijkheid voor het naleven van deze bepaling niet alleen bij de kredietverstrekker ligt, maar ook bij de informatieverstrekker, wat in deze zaak het bureau was dat de credit score verstrekt. 

Implicaties voor AI-gebaseerde Besluitvorming  

De uitspraak heeft niet alleen gevolgen voor kredietverstrekkers, maar is door de brede uitleg van ‘geautomatiseerde besluitvorming’ ook bijzonder relevant in de context van AI-toepassingen en kan verstrekkende implicaties hebben voor AI-gebaseerde besluitvorming. AI-systemen worden immers vaak toegepast voor analyses en profilering. Als deze analyses en profilering een belangrijke factor zijn in een besluit dat later wordt genomen door een andere partij, kunnen deze worden aangemerkt als voorbereidende handelingen op een geautomatiseerd besluit. In andere woorden: de uitspraak betekent dat ook partijen die met behulp van AI informatie voorbereiden, welke later wordt gebruikt door een andere partij om beslissingen te nemen, onderworpen zijn aan de beperkingen en vereisten van Artikel 22.  

Een voorbeeld is het gebruik van een AI-systeem dat de geschiktheid van kandidaten beoordeelt voor een baan. De voorbereidende handelingen van het AI-systeem kunnen worden gezien als geautomatiseerde besluitvorming, als er stevig op deze informatie wordt geleund bij de keuze voor een sollicitant.  

Een ander voorbeeld is het gebruik van AI in de gezondheidszorg voor het voorspellen van patiëntenrisico's of voor het aanbevelen van behandelingen. Deze AI-gegenereerde aanbevelingen kunnen vervolgens worden gebruikt als een belangrijk onderdeel van de diagnose- of behandelbeslissingen.    

Evaluatie van AI-toepassingen 

De uitspraak van het Hof betekent een stap in de vormgeving van de toekomstige interactie tussen technologie, privacy en wetgeving. Het vereist een zorgvuldige evaluatie van hoe AI-systemen worden ingezet, met bijzondere aandacht voor transparantie, toestemming en de rechten van individuen om beslissingen te betwisten.  

Bij Considerati begrijpen we het belang van deze ontwikkelingen en zijn toegewijd om organisaties te ondersteunen bij het navigeren door de nieuwe regelgeving, het waarborgen van compliance en het implementeren van best practices.