Moet de zelfrijdende auto jou of de omstander redden?

02/06/'21 - Het trolleyprobleem is een klassiek dilemma, en ook in de ontwikkeling van AI een vaak geïntroduceerd voorbeeld. Wellicht een beetje afgezaagd, maar hier geldt hetzelfde als voor clichés: het zijn clichés omdat ze zo treffend zijn. Zo helpt het trolleyprobleem de ethische dilemma’s inzichtelijk te maken die ontstaan bij het ontwikkelen van AI, in dit geval de zelfrijdende auto.

In 1967 beschrijft Phillipa Foot het trolleyprobleem. Er is een op hol geslagen tram en deze tram kan twee richtingen uit: rechtdoor op spoor A waarop 5 mensen aan het werk zijn of naar rechts op spoor B waar slechts één persoon op werkt. Niets doen betekent rechtdoor gaan en vijf doden tot gevolg. Afslaan betekent één dodelijk slachtoffer. Vele varianten worden sindsdien bedacht om ethische dilemma’s inzichtelijk te maken. Ook binnen het domein van Artificiële Intelligentie (AI) wordt er veelvuldig gebruik van gemaakt. En niet voor niets. Een variant van dit dilemma met de zelfrijdende auto is als volgt. De zelfrijdende auto komt in een situatie waarbij deze vijf personen doodrijdt als deze rechtdoor gaat. De enige andere mogelijkheid is om uit te wijken, waarbij één persoon wordt doodgereden. Wat moet de zelfrijdende auto doen?

Het trolleyprobleem vanuit verschillende stromingen

Er zijn verschillende (ethische) stromingen van waaruit je deze vraag kan benaderen. Één van die stromingen is het consequentialisme of utilitarisme. Zoals de naam al doet vermoeden, gaat het er binnen deze stroming om dat de consequenties resulteren in het meeste geluk voor het grootste aantal mensen. Vanuit deze gedachte lijkt de keuze gemakkelijk: offer één persoon op om het leven van vijf personen te redden.

Maar mogen we een mens wel gebruiken om het leven van vijf andere te sparen? Mogen we dan ook de organen van een gezond persoon gebruiken, die dan zelf sterft, om vijf zieke mensen te redden? De deontologie schrijft je voor om de mens altijd als doel en nooit als middel te behandelen. Dus het is verwerpelijk om een persoon als middel te gebruiken om er vijf te redden. Bovendien is er voor deontologen een verschil tussen iets doen en iets nalaten te doen. In het klassieke trolleyprobleem betekent niets doen vijf doden. Maar als de trambestuurder wel naar het andere spoor gaat, kiest hij ervoor om het leven van één persoon op te offeren.

Eén van de kritieken op het gebruik van een variant van het trolleyprobleem met de zelfrijdende auto is dat er geen bestuurder is. Bij de trambestuurder is sprake van menselijke verantwoordelijkheid en bij de zelfrijdende auto niet. Een auto kan niet verantwoordelijk zijn, zo luidt de kritiek. Dit laat treffend de complexiteit van AI-systemen zien. Wie is er namelijk verantwoordelijk wanneer er sprake is van automatische besluitvorming? Je zou kunnen stellen dat de verantwoordelijkheid verschuift van de bestuurder naar de ontwikkelaar of fabrikant. Daarmee wordt value-sensitive design dus nog belangrijker.

Het trolleyprobleem vanuit economisch perspectief

Uit onderzoek blijkt dat mensen in bovenstaande variant relatief makkelijk een keuze kunnen maken: liever één slachtoffer dan vijf. Maar stel nu dat de zelfrijdende auto in een situatie komt waarbij de opties nog steeds zijn om vijf mensen dood te rijden of één persoon. Alleen is die ene persoon de inzittende. Waar we net zeiden dat men wil dat de auto kiest voor het redden van vijf levens, willen we dat nog steeds als jij de inzittende bent? Met andere woorden: koop je een auto die ervoor zal kiezen de inzittende op te offeren om levens van anderen te redden? Dan ontstaat er hier dus ook een economisch perspectief, want de autofabrikanten willen wel auto’s verkopen. Een andere vraag is in wiens dienst de auto staat. Als dit de inzittende is, is het te begrijpen dat een auto de inzittende niet opoffert. Maar wat als we vinden dat de auto in dienst is van de maatschappij? Welke keuze moet er dan worden gemaakt?

Leer ethische dilemma's herkennen

Kortom, techniek is niet neutraal en de manier waarop we die gebruiken ook niet. Bij het ontwikkelen van technologie spelen er talloze ethische ontwerpvragen. Daarom is het zo belangrijk dat het inzichtelijk is welke ethische dilemma’s spelen en hoe je deze kunt benaderen. In onze workshop Digitale Ethiek leer je technologische ethische dilemma’s herkennen en hiermee om te gaan. Wil je hier meer over weten en leren wat eigenlijk value-sensitive design is? Schrijf je hier in voor onze workshop! 

Wil je erachter komen wat jij zelf zou doen in een dergelijke situatie? Onderzoekers van MIT ontwikkelde een tool om te onderzoeken welke keuzes mensen zouden maken: the moral machine. Maak jij onderscheid tussen oude en jonge, dikke en fitte of mannelijke en vrouwelijke slachtoffers?