14-12-2022 - In een tussenuitspraak heeft Het College voor de Rechten van de mens geoordeeld dat de klaagster voldoende feiten heeft aangedragen om een vermoeden van algoritmische discriminatie door een universiteit in Nederland te onderbouwen. Wat is er in deze zaak aan de hand?
Klaagster studeerde in studiejaar 2020/2021 aan de desbetreffende universiteit. In verband met de toen geldende coronamaatregelen werden tentamens online afgenomen. Om fraude te voorkomen, werd door de universiteit antispieksoftware (bestaande uit een algoritme) gebruikt. Klaagster moest deze software op haar computer installeren. Verder moest zij, om toegang te krijgen tot het examen, een aantal checks doorlopen, waaronder de webcamcheck. Aan de hand van deze check beoordeelde de antispieksoftware of er iemand aanwezig was in de ruimte en zo ja: wie. De ‘wie-vraag’ kon de software beantwoorden aan de hand van de scan van de studentenpas en een aantal webcamfoto’s. Gedurende het hele examen kon op die manier aan de hand van gezichtsdetectie worden gecontroleerd of de student die het examen moest maken, ook echt het examen aan het maken was.
Tijdens het examen van klaagster, merkte zij op dat het algoritme haar gezicht niet steeds detecteerde en diverse foutmeldingen gaf als ‘face not found’. Als ‘straf’ werd klaagster meerdere maken uit de online examenomgeving verwijderd. Klaagster vermoedde dat de antispieksoftware haar niet kon detecteren omdat zij een zwarte huidskleur heeft en diende een discriminatieklacht in bij de universiteit.
Omdat klaagster en de universiteit het onderling niet eens konden worden, is de klacht uiteindelijk terecht gekomen bij het College voor de Rechten van de Mens (‘CRM’), het mensenrechteninstituut van Nederland. Het CRM is een onafhankelijke toezichthouder die mensenrechten belicht, beschermt en bevordert in Nederland.
Het CRM oordeelt ook over discriminatiekwesties op basis van een klacht. Het CRM kan een uitspraak doen over de discriminatieklacht. Deze uitspraak is niet bindend zoals een vonnis of arrest van de rechter dat wel is; het is een dringend advies. Ook kan het CRM geen maatregel zoals een schadevergoeding opleggen. Daarvoor moet de klager naar de civiele rechter. De civiele rechter is niet gebonden aan het oordeel van het CRM, maar zal het oordeel wel meenemen in de procedure.
Voordat het oordeel in deze kwestie wordt besproken, is het interessant te beseffen dat deze zaak betrekking heeft op ‘gedragingen’ van software (een algoritme). In de tussenuitspraak gaat het CRM daarom eerst in op de vraag of zij wel een oordeel kan geven over ‘gedragingen’ door software (het ontvankelijkheidsvraagstuk). Het CRM oordeelt dat dit wel het geval is omdat, kortgezegd, de universiteit deze software heeft gebruikt en de ‘gedragingen’ van de software aan de universiteit zijn toe te rekenen.
In artikel 1 van de Grondwet (Gw) is het discriminatieverbod opgenomen. Kort gezegd houdt dit in dat het niet is toegestaan om een persoon te discrimineren wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook. Het recht om niet te worden gediscrimineerd is een grondrecht, dat ook in andere fundamentele verdagen is opgenomen. In de Algemene wet gelijke behandeling (AWGB) is artikel 1 van de Gw nader uitgewerkt.
In dit geval oordeelt het CRM dat er sprake is van een vermoeden van verboden indirect onderscheid op grond van ras (een zwarte huidskleur) omdat:
De oplettende lezer heeft ongetwijfeld opgemerkt dat het CRM heeft geoordeeld dat er sprake is van een vermoeden van indirecte discriminatie. Dat behoeft wat toelichting.
Er is sprake van indirect onderscheid (discriminatie) op grond van ras als een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een bepaald ras in vergelijking met andere personen bijzonder treft (artikel 1 lid 1 AWGB). Directe discriminatie kan worden beschouwd als een zwaardere vorm van discriminatie omdat er in dat geval direct onderscheid op grond van ras wordt gemaakt en een persoon van dat ras anders behandeld wordt dan andere personen van andere rassen.
In civiele procedures en procedures zoals deze speelt de bewijslastverdeling (welke partij moet wat bewijzen) een belangrijke rol. Normaalgesproken dient degene die zich op een standpunt beroept, dat standpunt ook te bewijzen. Soms wordt op dat uitgangspunt een (wettelijke) uitzondering gemaakt. In de AWGB is zo’n uitzondering gemaakt in artikel 10 lid 1.
Dat brengt mee dat de universiteit moet aantonen dat zij klaagster niet heeft gediscrimineerd. Klaagster hoeft niet aan te tonen dat ze gediscrimineerd is; het bewijzen van een vermoeden dat er sprake is geweest van discriminatie volstaat.
Het CRM is van oordeel dat de universiteit in de procedure niet heeft aangetoond aan de hand van bewijs dat zij niet heeft gediscrimineerd. Het CRM houdt de definitieve uitspraak echter 10 weken aan om de universiteit alsnog in de gelegenheid te stellen om dit bewijs te leveren.
De definitieve uitspraak laat dus nog even op zich wachten. Het is wel een interessante zaak om te blijven volgen omdat dit de eerste keer is dat iemand erin is geslaagd het vermoeden van algoritmische discriminatie te onderbouwen.
Het tussenoordeel van het CRM van 7 december 2022 is hier te lezen.
Wilt u meer weten over bovenstaand onderwerp? Neem dan gerust contact met ons op. Onze collega's staan u graag te woord.